[논문 리뷰] Improving Robustness of ML Classifiers against Realizable Evasion Attacks Using Conserved Features

Liang Tong, Bo Li외 4명|arXiv (Cornell University)|2017. 08. 28.

Advanced Malware Detection Techniques참고 문헌 40인용 수 19

한 줄 요약

이 논문은 악성 기능을 손상시키지 않으면서도 수정이 불가능한 공통 특징(conserved features)을 식별하고 강제 적용하여 PDF 악성 소프트웨어 탐지에서 실현 가능한 회피 공격에 대한 기계학습 분류기의 강건성을 향상시키는 방법을 제안한다. 이러한 특징을 적대적 훈련에 통합함으로써, 공격 유형에 특화된 방어 방법보다 우수한 일반화 성능을 달성하며, 이전에 특징 공간 기반 방법이 실패했던 구조 기반 탐지기에도 효과를 발휘한다.

ABSTRACT

Machine learning (ML) techniques are increasingly common in security applications, such as malware and intrusion detection. However, ML models are often susceptible to evasion attacks, in which an adversary makes changes to the input (such as malware) in order to avoid being detected. A conventional approach to evaluate ML robustness to such attacks, as well as to design robust ML, is by considering simplified feature-space models of attacks, where the attacker changes ML features directly to effect evasion, while minimizing or constraining the magnitude of this change. We investigate the effectiveness of this approach to designing robust ML in the face of attacks that can be realized in actual malware (realizable attacks). We demonstrate that in the context of structure-based PDF malware detection, such techniques appear to have limited effectiveness, but they are effective with content-based detectors. In either case, we show that augmenting the feature space models with conserved features (those that cannot be unilaterally modified without compromising malicious functionality) significantly improves performance. Finally, we show that feature space models enable generalized robustness when faced with a variety of realizable attacks, as compared to classifiers which are tuned to be robust to a specific realizable attack.

연구 동기 및 목표

• 실현 가능한 회피 공격에 대한 PDF 악성 소프트웨어 탐지에서 특징 공간 기반 적대적 훈련의 효과성을 평가하는 것.
• 악성 기능을 손상시키지 않으면서도 수정이 불가능한 공통 특징(conserved features)을 새로운 알고리즘적 접근을 통해 식별하는 것.
• 적대적 훈련 중 공통 특징을 강제 적용함으로써 강건성이 크게 향상됨을 보여주며, 특히 기존 방법이 실패했던 구조 기반 탐지기에서 그 효과를 입증하는 것.
• 공통 특징 기반 특징 공간 모델에서 확보된 강건성이 다양한 서로 다른 실현 가능한 공격에 일반화되는지 조사하는 것.
• 공통 특징 기반 방어가 특별히 이를 우회하기 위해 설계된 공격에 대해서도 여전히 효과를 유지하는지 보여주는 것.

제안 방법

• 다양한 악성 PDF 시드 파일 간의 특징 일관성과 종속성을 평가하여, 여러 악성 PDF 시드 파일을 대상으로 균일한 공통 특징 집합을 계산하기 위해 정방향 제거(Forward Elimination) 알고리즘을 제안한다.
• PDF의 구조적 경로를 분석함으로써 공통 특징를 식별한다: 만약 어떤 경로를 제거하면 악성 기능이 손상된다면, 그 경로는 공통 특징로 간주된다.
• SL2013, Hidost, PDFRate-B 등의 다양한 분류기에 대해 특징을 변환하거나 매핑함으로써 공통 특징 집합을 적용한다.
• 특징의 변형을 방지하여 악성 의도를 유지하는 방식으로, 공통 특징을 적대적 훈련에 통합한다.
• 특징 선택을 균형 잡기 위해 매개변수화된 임계값 β(3로 설정)를 사용한다.
• 내용 기반 탐지기인 PDFRate-B에서 공통 특징를 탐지하기 위해 이진 특징을 활용하며, 수정된 변형을 생성하고 특징 값의 변화를 관찰한다.

실험 결과

연구 질문

• RQ1 특징 공간 기반 적대적 훈련이 PDF 악성 소프트웨어 탐지에서 실현 가능한 회피 공격에 효과적으로 대응할 수 있는가?
• RQ2 내용 기반 탐지에 성공한 특징 공간 기반 방법이 왜 구조 기반 탐지기(SL2013 및 Hidost)에서는 실패하는가?
• RQ3 악성 기능에 필수적인 공통 특징를 자동으로 식별하고 이를 강건성 향상에 활용하는 방법은 무엇인가?
• RQ4 공통 특징를 포함한 특징 공간 모델에서 확보된 강건성이 다양한 서로 다른 실현 가능한 공격에 일반화되는가?
• RQ5 특히 공통 특징를 우회하기 위해 설계된 공격에 대해서도 공통 특징 기반 방어가 여전히 강건한가?

주요 결과

• 특징 공간 기반 적대적 재훈련은 내용 기반 탐지에서는 성공했지만, 구조 기반 PDF 악성 소프트웨어 탐지기(SL2013 및 Hidost)에 대해서는 충분한 강건성을 제공하지 못한다.
• 반면, 공통 특징를 포함한 적대적 재훈련은 구조 기반 탐지기에서 강력한 강건성을 달성하며, 표준 방법이 실패하는 상황에서도 이 방법의 효과성을 입증한다.
• 적대적 훈련 중 공통 특징를 강제 적용하는 본 논문의 방법은 잘 일반화된다: 특징 공간 공격을 통해 강화된 모델은 다양한 서로 다른 실현 가능한 공격에 대해 여전히 강건성을 유지한다.
• 실현 가능한 공격이 공통 특징를 우회하기 위해 특별히 설계된 경우에도, 공통 특징를 사용해 훈련된 모델은 높은 강건성을 유지한다. 이는 고도의 발전된 회피 전략에 대한 내성적 저항력을 시사한다.
• l1 정규화를 사용한 희박 모델은 공통 특징와 거의 겹치지 않는다: SL2013에서는 12개의 공통 특징 중 3개, PDFRate-B에서는 1개만 선택된다. 이는 표준 희박성 방법이 핵심 특징를 식별하는 데 한계가 있음을 보여준다.
• 균일한 공통 특징 집합은 β=3를 사용하여 계산되었으며, 이는 시드 간 일관성을 균형 잡고 악성 기능의 유지에 기여한다.