[논문 리뷰] Detecting Malicious Code by Exploiting Dependencies of System-call Groups

Stavros D. Nikolopoulos, Iosif Polenakis|arXiv (Cornell University)|2014. 12. 30.

Advanced Malware Detection Techniques참고 문헌 15인용 수 5

한 줄 요약

이 논문은 시스템콜 의존성 그래프(ScD)에서 유도된 군집 의존성 그래프(GrD)를 통해 시스템콜 행동을 모델링하는 그래프 기반 악성코드 탐지 기법을 제안한다. 악성코드 패밀리 간의 정성적, 정량적, 관계적 특성을 통합한 새로운 NP 유사도 메트릭을 적용함으로써, 91.3%의 탐지율과 13.7%의 위양성률을 달성하였으며, 변형된 코드(mutated)에 대한 강건성과 정확도 면에서 몇몇 최신 기법들을 능가하거나 그 수준을 유지한다.

ABSTRACT

In this paper we present an elaborated graph-based algorithmic technique for efficient malware detection. More precisely, we utilize the system-call dependency graphs (or, for short ScD graphs), obtained by capturing taint analysis traces and a set of various similarity metrics in order to detect whether an unknown test sample is a malicious or a benign one. For the sake of generalization, we decide to empower our model against strong mutations by applying our detection technique on a weighted directed graph resulting from ScD graph after grouping disjoint subsets of its vertices. Additionally, we have developed a similarity metric, which we call NP-similarity, that combines qualitative, quantitative, and relational characteristics that are spread among the members of known malware families to archives a clear distinction between graph-representations of malware and the ones of benign software. Finally, we evaluate our detection model and compare our results against the results achieved by a variety of techniques proving the potentials of our model.

연구 동기 및 목표

• 서명 기반 탐지 기법을 회피하는 변형 악성코드를 구조적 변화가 있음에도 불구하고 행동 유사성에 기반해 탐지할 수 있도록 하는 것.
• 개별 시스템콜이 아닌 기능적 그룹 수준에서 시스템콜 의존성을 모델링하여 강력한 코드 변형에 대한 탐지 강건성을 향상시키는 것.
• 기존 악성코드 패밀리 간의 정성적, 정량적, 관계적 특성을 통합한 NP-유사도 메트릭을 개발하여 정상 소프트웨어와의 효과적 구분을 가능하게 하는 것.
• 표준화된 데이터셋을 사용하여 기존의 그래프 기반 및 비그래프 기반 탐지 기법들과의 성능을 평가하는 것.

제안 방법

• 프로그램 실행의 트레이스에서 타인트 분석을 통해 시스템콜 의존성 그래프(ScD)를 구축한다.
• 서로소인 시스템콜 정점의 부분집합을 기능 그룹으로 묶어 가중 방향 그래프인 군집 의존성 그래프(GrD)를 구성한다.
• 악성코드 패밀리 구성원 간의 정성적(행동 패턴), 정량적(빈도 및 분포), 관계적(의존성 구조) 특성을 통합하는 NP-유사도 메트릭을 설계한다.
• NP-유사도를 기반으로 임계값 기반 분류를 적용하여 테스트 샘플이 악성인지 정상인지 판단한다.
• 48개 패밀리의 2,630개 악성코드 샘플과 33개의 정상 프로그램을 포함한 데이터셋에서 5겹 교차검증을 수행하여 탐지 성능을 평가한다.

실험 결과

연구 질문

• RQ1 시스템콜 행동을 그룹 수준에서 모델링하면 변형 악성코드에 대한 탐지 강건성이 향상되는가?
• RQ2 결합된 유사도 메트릭(NP-유사도)는 시스템콜 그룹의 행동 특성에 기반해 악성코드와 정상 소프트웨어를 얼마나 효과적으로 구분할 수 있는가?
• RQ3 제안된 GrD 기반 탐지 모델은 기존의 그래프 기반 및 비그래프 기반 악성코드 탐지 기법들과 비교해 성능 면에서 어떻게 나타나는가?
• RQ4 다양한 악성코드 패밀리에 걸쳐 높은 탐지율을 유지하면서 위양성률을 최소화하는 데 모델이 얼마나 효과적인가?

주요 결과

• 제안된 모델은 48개 패밀리의 2,630개 악성코드 샘플과 33개의 정상 프로그램을 포함한 데이터셋에서 91.3%의 탐지율과 13.7%의 위양성률을 기록하였다.
• 최적의 파rameter 설정(t=0.96, λ=0.56)에서, 모델는 Fredrikson 등[11]의 방법과 동일한 탐지율을 달성하였으며, 위양성률은 오직 0.03% 뿐 더 높을 뿐이었다.
• n-gram, API-시퀀스, k-테이블러블 트리 오토마타 기반 기법을 포함한 몇몇 최신 기법들과 비교해 탐지 정확도와 위양성률 통제 면에서 모델가 성능을 뛰어나거나 동등하게 유지하였다.
• 시스템콜 그룹 의존성의 일관된 행동 패턴을 통해 변형된 변형 악성코드(variants)를 탐지할 수 있었기에, 강력한 코드 변형에 대한 뛰어난 내성성을 입증하였다.
• 5겹 교차검증을 통한 평가에서 일관된 성능을 보였으며, 동일한 데이터셋에서 2겹 교차검증을 사용한 모델들과 비교해도 경쟁력 있는 성능을 유지하였다.