[논문 리뷰] Intriguing Properties of Adversarial ML Attacks in the Problem Space [Extended Version]

Jacopo Cortellazzi, Feargus Pendlebury외 4명|arXiv (Cornell University)|2019. 11. 05.

Advanced Malware Detection Techniques인용 수 5

한 줄 요약

이 논문은 악성코드와 같은 도메인에서 유효하고 강건하며 의미가 유지되는 변형을 정의하기 위한 공식적 프레임워크를 제안한다. 이는 자동 소프트웨어 이식 기반의 새로운 확장 가능한 공격을 통해 앱당 2분 이내에 최신 악성코드 분류기들을 회피함으로써 '공격적 악성코드 서비스'의 대규모 실현 가능성을 입증한다.

ABSTRACT

Recent research efforts on adversarial machine learning (ML) have investigated problem-space attacks, focusing on the generation of real evasive objects in domains where, unlike images, there is no clear inverse mapping to the feature space (e.g., software). However, the design, comparison, and real-world implications of problem-space attacks remain underexplored. This article makes three major contributions. Firstly, we propose a general formalization for adversarial ML evasion attacks in the problem-space, which includes the definition of a comprehensive set of constraints on available transformations, preserved semantics, absent artifacts, and plausibility. We shed light on the relationship between feature space and problem space, and we introduce the concept of side-effect features as the by-product of the inverse feature-mapping problem. This enables us to define and prove necessary and sufficient conditions for the existence of problem-space attacks. Secondly, building on our general formalization, we propose a novel problem-space attack on Android malware that overcomes past limitations in terms of semantics and artifacts. We have tested our approach on a dataset with 150K Android apps from 2016 and 2018 which show the practical feasibility of evading a state-of-the-art malware classifier along with its hardened version. Thirdly, we explore the effectiveness of adversarial training as a possible approach to enforce robustness against adversarial samples, evaluating its effectiveness on the considered machine learning models under different scenarios. Our results demonstrate that "adversarial-malware as a service" is a realistic threat, as we automatically generate thousands of realistic and inconspicuous adversarial applications at scale, where on average it takes only a few minutes to generate an adversarial instance.

연구 동기 및 목표

• 변형, 의미, 전처리에 대한 강건성, 그리고 타당성에 대한 명확한 제약 조건을 포함한 문제 공간 공격의 공식화.
• 측면 효과 기능의 개념을 사용하여 그러한 공격의 존재에 필요한 필수 조건과 충분 조건을 규명하고 정의하기.
• 기존 악성코드 공격 방법의 한계—의미 위반, 전처리에 대한 취약성, 감지 가능한 잔여물—을 원칙적이고 확장 가능한 방법으로 극복하기.
• 강화된 분류기를 회피하는 수천 개의 현실적이고 눈에 띄지 않는 문제 공간 공격 악성코드 앱을 생성하는 실용적 실현 가능성 입증.
• 향후 문제 공간 방어 연구를 가능하게 하기 위해 코드와 데이터셋을 책무적으로 공개하기.

제안 방법

• 사용 가능한 변형, 유지된 의미, 비-기계학습 전처리에 대한 강건성, 출력 객체의 타당성이라는 네 가지 핵심 제약 조건을 포함한 문제 공간 공격의 공식화 제안.
• 문제 공간 변형에서 발생하는 의도치 않은 기능 변화인 측면 효과 기능의 개념을 도입하여 기능 공간과 문제 공간을 연결.
• 기능 변형과 변형 실행 가능성 간의 상호작용에 기반해 문제 공간 공격 존재에 필요한 필수 조건과 충분 조건 정의.
• 의미가 유지되고 타당하며 강건한 문제 공간 공격 변형을 생성하기 위해 자동 소프트웨어 이식을 활용한 새로운 안드로이드 악성코드 공격 개발.
• 불투명한 조건문을 사용해 동적 의미를 유지하고 정적 프로그램 분석을 회피함으로써, no-op나 IAT 패치와 같은 감지 가능한 잔여물 방지.
• 2017~2018년 기간의 17만 개 안드로이드 앱으로 구성된 데이터셋을 대상으로 공격 검증 및 DREBIN 분류기의 표준 및 강화된 버전에 대한 회피 평가.

실험 결과

연구 질문

• RQ1 실제 도메인인 악성코드에서 유효한 문제 공간 공격을 정의하기 위해 필요한 필수 및 충분 조건은 무엇인가?
• RQ2 측면 효과 기능은 문제 공간 변형에서 어떻게 발생하며, 기능 공간과 문제 공간을 연결하는 데 어떤 역할을 하는가?
• RQ3 기존 문제 공간 공격(예: 매니페스트 수정 또는 IAT 패치에 의존하는 공격)이 강건성과 확장성 달성에 실패하는 이유는 무엇인가?
• RQ4 자동 소프트웨어 이식을 사용해 의미가 유지되고, 기계학습 분류기를 회피하며, 비-기계학습 전처리에 강건한 악성코드를 생성할 수 있는가?
• RQ5 어느 정도의 규모에서 현실적이고 눈에 띄지 않는 악성코드를 생성할 수 있는가?

주요 결과

• 제안된 공식화는 기존 문제 공간 공격의 원칙적 비교를 가능하게 하며, 의미 유지 및 전처리 강건성 측면에서의 약점을 드러낸다.
• 측면 효과 기능은 역 기능 매핑의 핵심 부산물임이 입증되었으며, 문제 공간 공격의 실현 가능성 평가에 기여한다.
• 새로운 공격은 17만 개의 안드로이드 앱으로 구성된 데이터셋에서 DREBIN 악성코드 분류기의 표준 및 강화된 버전 모두를 성공적으로 회피한다.
• 평균적으로 한 개의 문제 공간 공격 앱 생성에 2분 미만이 소요되어 높은 확장성과 실용적 실현 가능성을 입증한다.
• 정적 분석에 강건하며, 기존 방법과 달리 no-op나 IAT 패치와 같은 감지 가능한 잔여물을 피함.
• 저자들은 향후 문제 공간 방어 연구를 지원하기 위해 코드와 데이터를 책무적으로 공개한다.