[논문 리뷰] Hardening Classifiers against Evasion: the Good, the Bad, and the Ugly

Tong Liang, Bo Li외 3명|arXiv (Cornell University)|2017. 08. 28.

Advanced Malware Detection Techniques인용 수 6

한 줄 요약

이 논문은 악성코드 탐지에서 실현 가능한 회피 공격에 대비하여 기계학습 분류기를 강화하기 위해 특성 공간 기반의 적대적 모델의 효과성을 평가한다. 연구 결과, 이러한 모델은 구조 기반 PDF 악성코드 탐지에서는 제한적인 성공을 보였지만, 악성 기능을 유지하는 보존 특성(conserved features)을 통합한 내용 기반 탐지기에서는 더 효과적이었으며, 다양한 공격에 일반화된 강건성을 확보할 수 있었다.

ABSTRACT

Machine learning (ML) techniques are increasingly common in security applications, such as malware and intrusion detection. However, ML models are often susceptible to evasion attacks, in which an adversary makes changes to the input (such as malware) in order to avoid being detected. A conventional approach to evaluate ML robustness to such attacks, as well as to design robust ML, is by considering simplified feature-space models of attacks, where the attacker changes ML features directly to effect evasion, while minimizing or constraining the magnitude of this change. We investigate the effectiveness of this approach to designing robust ML in the face of attacks that can be realized in actual malware (realizable attacks). We demonstrate that in the context of structure-based PDF malware detection, such techniques appear to have limited effectiveness, but they are effective with content-based detectors. In either case, we show that augmenting the feature space models with conserved features (those that cannot be unilaterally modified without compromising malicious functionality) significantly improves performance. Finally, we show that feature space models enable generalized robustness when faced with a variety of realizable attacks, as compared to classifiers which are tuned to be robust to a specific realizable attack.

연구 동기 및 목표

• 특성 공간 기반의 적대적 모델이 실제 악성코드에서 실현 가능한 회피 공격에 효과적인지 평가하는 것.
• 단순화된 공격 모델이 실제 세계의 적대적 악성코드 변종을 탐지하는 데에서 가지는 한계를 조사하는 것.
• 악성 기능을 손상시키지 않으면서도 변경이 불가능한 보존 특성(conserved features)이 분류기의 강건성에 미치는 영향을 탐구하는 것.
• 특성 공간 기반 모델이 단일 공격 유형에 맞춰 최적화된 것이 아니라, 다양한 실현 가능한 공격에 일반화된 강건성을 확보할 수 있는지 판단하는 것.

제안 방법

• 특성 공간 기반의 적대적 공격에 기반해 훈련된 기계학습 분류기를 평가하며, 공격 시도를 시뮬레이션하기 위해 변형의 크기를 제한한다.
• PDF 파일의 구조를 분석하는 구조 기반 탐지기와 파일 내용을 분석하는 내용 기반 탐지기 두 가지 유형의 성능을 비교한다.
• 악성 기능을 유지하기 위해 반드시 그대로 유지되어야 하는 속성으로서 보존 특성을 특성 공간에 통합한다.
• 파일의 구조나 내용을 수정하여 탐지를 회피하는 방식의 다양한 실현 가능한 공격에 대해 강건성을 평가한다.
• 특성 공간 제약 조건을 적용한 적대적 훈련을 통해 일반화 능력을 향상시키며, 예상치 못한 공격 변종에 대한 강건성을 테스트한다.

실험 결과

연구 질문

• RQ1 실제 악성코드에서 실현 가능한 회피 공격에 대비하여 특성 공간 기반의 적대적 모델이 얼마나 효과적인가?
• RQ2 보존 특성을 포함함으로써 기계학습 분류기의 실제 세계의 적대적 수정에 대한 강건성이 향상되는가?
• RQ3 단순화된 공격에 기반해 훈련된 특성 공간 모델이 다양한 유형의 실현 가능한 공격에 일반화되는가, 아니면 특정 공격 패tern에만 효과적인가?
• RQ4 특성 공간 기반의 적대적 훈련을 사용할 경우, 구조 기반과 내용 기반 악성코드 탐지기 간의 회피 공격에 대한 취약도는 어떻게 다른가?

주요 결과

• 특성 공간 기반의 적대적 훈련은 실현 가능한 공격에 대비하여 구조 기반 PDF 악성코드 탐지기의 강건성을 제한적으로 높이고 있다.
• 동일한 방법은 내용 기반 악성코드 탐지기에서는 더 효과적이며, 특히 악성 기능을 유지하는 보존 특성을 통합한 경우 더욱 그렇다.
• 특성 공간에 보존 특성을 통합함으로써 악성 기능을 손상시키지 않고도 핵심 속성을 자유롭게 수정할 수 없게 되어 분류기의 강건성이 향상된다.
• 단일 공격 유형에 맞춰 최적화된 분류기와는 달리, 단순화된 공격에 기반해 훈련된 특성 공간 모델은 다양한 실현 가능한 공격에 대해 더 잘 일반화된다.
• 보존 특성의 사용은 일반화된 강건성을 가능하게 하여, 다양한 종류의 회피 기법에 저항할 수 있는 분류기를 구현한다.