[논문 리뷰] Against All Odds: Winning the Defense Challenge in an Evasion Competition with Diversification

Erwin Quiring, Lukas Pirch외 3명|arXiv (Cornell University)|2020. 10. 19.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 Windows PE 악성 소프트웨어 검출에서의 악성 소프트웨어 회피 공격에 저항하기 위해 다각도의 다층 방어를 통합한 PEberus를 제시한다. 의미 갭 완화, 서로 다른 특징 집합을 사용한 앙상블 분류, 반복적 공격을 위한 상태 기반 검출 메커니즘을 조합함으로써 PEberus는 실제 세계의 회피 시도를 효과적으로 방어하여 첫 번째로 선정되었으며, 기계 학습 기반 보안 시스템에서의 적대적 강화의 중요성을 부각시켰다.

ABSTRACT

Machine learning-based systems for malware detection operate in a hostile environment. Consequently, adversaries will also target the learning system and use evasion attacks to bypass the detection of malware. In this paper, we outline our learning-based system PEberus that got the first place in the defender challenge of the Microsoft Evasion Competition, resisting a variety of attacks from independent attackers. Our system combines multiple, diverse defenses: we address the semantic gap, use various classification models, and apply a stateful defense. This competition gives us the unique opportunity to examine evasion attacks under a realistic scenario. It also highlights that existing machine learning methods can be hardened against attacks by thoroughly analyzing the attack surface and implementing concepts from adversarial learning. Our defense can serve as an additional baseline in the future to strengthen the research on secure learning.

연구 동기 및 목표

• 실제 환경에서 기계 학습 기반 악성 소프트웨어 검출기의 회피 공격에 대한 취약성을 해결한다.
• 기능을 유지하는 간단한 공격을 가능하게 하는 PE 프로그램 의미론과 특징 표현 간의 의미 갭을 해소한다.
• 블랙박스 환경에서 독립된 공격자에 의한 표적 회피 시도에 강건한 방어 시스템을 개발한다.
• 모델, 특징, 런타임 검출에서의 다각화가 회피 공격에 대한 강건성 향상에 상당한 기여를 할 수 있음을 보여준다.
• 향후 적대적 기계 학습을 통한 악성 소프트웨어 검출 분야의 연구를 위한 공개 가능하고 생산 환경에 적합한 기반 방어 시스템을 확립한다.

제안 방법

• PE 프로그램 동작과 정적 특징 표현 간의 의미 갭을 메우기 위해 다수의 서로 다른 히وري스틱을 적용한다.
• 중복되지 않는 특징 집합을 사용한 Gradient Boosted Decision Trees(GBDT)의 앙상블을 활용하여 모델별 취약성을 줄인다.
• 분류기 대상으로 반복적인 API 기반의 회피 공격을 모니터링하고 탐지하는 상태 기반 방어 메커니즘을 구현한다.
• 엄격한 성능 제약 조건을 충족하기 위해 설계: 1% 이하의 거짓 경고율, 90% 이상의 참 양성률, 5초 이내의 결정 시간.
• 특징 추출 및 표현을 공격하는 데에 악용되는 공격에 대비해 사전 처리 하드닝을 통합한다.
• 평가 중에 블랙박스 API 접근 모델을 사용하여 내부 모델 구조를 폭 드러내지 않더라도 방어가 효과적으로 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 기계 학습 기반 악성 소프트웨어 검출기가 내부 모델 구조를 폭 드러내지 않으면서도 실제 세계의 회피 공격에 대해 강화될 수 있는가?
• RQ2 특징 집합과 분류 모델 간의 다각화가 회피 공격에 대한 강건성 향상에 얼마나 기여하는가?
• RQ3 상태 기반 검출 메커니즘은 분류기 대상의 반복적 공격을 효과적으로 탐지하고 차단할 수 있는가?
• RQ4 PE 파일 표현의 의미 갭은 어떤 역할을 하며, 이를 어떻게 완화할 수 있는가?
• RQ5 실제 경쟁 환경에서 높은 강건성과 성능을 달성하면서도 공개적으로 검증 가능하고 재사용 가능한 방어 시스템을 구축할 수 있는가?

주요 결과

• PEberus는 마이크로소프트의 회피 경쟁에서 방어자 도전 과제에서 1등을 차지하여 독립된 공격자들로부터 온 다양한 고도의 회피 공격을 효과적으로 저항했다.
• 다양한 모델과 특징 집합을 사용함으로써 모델별 취약점을 악용하는 공격에 대한 저항력을 보였다.
• 블랙박스 API를 통해 반복적으로 분류기를 탐색하는 공격을 상태 기반 방어 메커니즘이 성공적으로 탐지하고 차단했다.
• 강력한 방어에도 불구하고 코드 오브프스케이션 기반 공격은 일부 성공했으며, 이는 정적 분석이 의미적 오브프스케이션을 탐지하는 데 한계가 있음을 시사한다.
• 심지어 하드닝된 시스템에서도 PE 의미론과 특징 표현 간의 의미 갭은 여전히 중요한 공격 표면으로 남아 있다.
• 이 방어 시스템은 GitHub에 공개되어 있어 향후 적대적 기계 학습을 통한 악성 소프트웨어 검출 분야의 연구를 위한 재사용 가능하고 생산 환경에 적합한 기반 시스템을 제공한다.