[논문 리뷰] Feature Conservation in Adversarial Classifier Evasion: A Case Study.

Liang Tong, Bo Li외 2명|arXiv (Cornell University)|2017. 08. 28.

Advanced Malware Detection Techniques인용 수 5

한 줄 요약

이 논문은 악성 소프트웨어 검출에서 실현 가능한 대비 공격에 대비한 강건한 기계학습 분류기 설계를 위한 특성 공간 모델의 효과성을 조사한다. 보존된 특성—악성 기능에 필수적인 특성—을 통합할 경우 강건성이 크게 향상되며, 특히 구조 기반 PDF 악성 소프트웨어 검출에서 두드러진다. 또한 다양한 실현 가능한 공격에 일반화된 방어가 가능하다.

ABSTRACT

Machine learning (ML) techniques are increasingly common in security applications, such as malware and intrusion detection. However, ML models are often susceptible to evasion attacks, in which an adversary makes changes to the input (such as malware) in order to avoid being detected. A conventional approach to evaluate ML robustness to such attacks, as well as to design robust ML, is by considering simplified feature-space models of attacks, where the attacker changes ML features directly to effect evasion, while minimizing or constraining the magnitude of this change. We investigate the effectiveness of this approach to designing robust ML in the face of attacks that can be realized in actual malware (realizable attacks). We demonstrate that in the context of structure-based PDF malware detection, such techniques appear to have limited effectiveness, but they are effective with content-based detectors. In either case, we show that augmenting the feature space models with conserved features (those that cannot be unilaterally modified without compromising malicious functionality) significantly improves performance. Finally, we show that feature space models enable generalized robustness when faced with a variety of realizable attacks, as compared to classifiers which are tuned to be robust to a specific realizable attack.

연구 동기 및 목표

• 기존의 특성 공간 모델이 실제 악성 소프트웨어에서 실현 가능한 공격에 일반화되는지 평가하는 것.
• 구조 기반 악성 소프트웨어 검출에서 표준 특성 공간 모델링의 한계를 조사하는 것.
• 악성 기능을 유지하기 위해 변경이 불가능한 특성—즉, 보존된 특성—을 통합할 경우 분류기의 강건성에 미치는 영향을 평가하는 것.
• 단일 공격에 최적화된 분류기와 여러 실현 가능한 공격에 대해 일반화된 강건성을 갖는 분류기 간의 성능을 비교하는 것.

제안 방법

• 기계학습 특성의 수정을 통해 대비 변형을 시뮬레이션하는 특성 공간 모델 설계. 이때 변화의 크기를 제약 조건으로 설정.
• 이러한 모델을 구조 기반 및 콘텐츠 기반 PDF 악성 소프트웨어 검출 시스템에 적용.
• 악성 행동에 필수적이며, 功能을 손상시키지 않으면서 변경이 불가능한 보존된 특성 식별 및 통합.
• 파일 구조나 콘텐츠를 수정하는 등의 다양한 실현 가능한 공격에 대한 강건성 평가.
• 보존된 특성을 포함하거나 제외한 특성 공간 모델 기반 분류기 간의 성능을 여러 공격 유형에 대해 비교.
• 다양한 실현 가능한 공격에 대해 특성 공간 모델의 일반화 성능 측정. 공격에 특화된 튜닝과의 비교 분석.

실험 결과

연구 질문

• RQ1 표준 특성 공간 모델은 실제 악성 소프트웨어에서 실현 가능한 대비 공격에 얼마나 효과적인가?
• RQ2 보존된 특성의 통합이 구조 기반 PDF 악성 소프트웨어 검출에서 강건성을 향상시키는가?
• RQ3 보존된 특성을 포함한 특성 공간 모델은 여러 실현 가능한 공격에 대해 일반화된 강건성을 달성할 수 있는가?
• RQ4 특성 공간 모델에서의 일반화된 강건성은 단일 실현 가능한 공격에 최적화된 분류기와 비교해 어떻게 다른가?

주요 결과

• 표준 특성 공간 모델은 구조 기반 PDF 악성 소프트웨어 검출에서 실현 가능한 공격에 대해 제한적인 효과를 보인다.
• 보존된 특성의 통합은 구조 기반 및 콘텐츠 기반 검출기 모두에서 강건성을 크게 향상시킨다.
• 보존된 특성을 포함한 특성 공간 모델은 여러 실현 가능한 공격에 대해 일반화된 강건성을 달성한다.
• 단일 실현 가능한 공격에 대비해 최적화된 분류기는 일반화 성능에 실패하지만, 보존된 특성 기반의 특성 공간 모델 기반 분류기는 다양한 공격 변종에서도 성능을 유지한다.