[論文レビュー] Intriguing Properties of Adversarial ML Attacks in the Problem Space [Extended Version]

Jacopo Cortellazzi, Feargus Pendlebury+4 more|arXiv (Cornell University)|Nov 5, 2019

Advanced Malware Detection Techniques被引用数 5

ひとこと要約

本論文は、Androidマルウェアなどの分野における有効で、強力かつ意味的に保持された摂動を定義する、問題空間における敵対的機械学習攻撃の形式的フレームワークを導入する。自動ソフトウェア移植を用いた新規でスケーラブルな攻撃を提案し、1アプリあたり2分未塔で最先端のマルウェア分類器を回避する。これは、スケールにおける「敵対的マルウェアとしてのサービス」の実現可能性を示している。

ABSTRACT

Recent research efforts on adversarial machine learning (ML) have investigated problem-space attacks, focusing on the generation of real evasive objects in domains where, unlike images, there is no clear inverse mapping to the feature space (e.g., software). However, the design, comparison, and real-world implications of problem-space attacks remain underexplored. This article makes three major contributions. Firstly, we propose a general formalization for adversarial ML evasion attacks in the problem-space, which includes the definition of a comprehensive set of constraints on available transformations, preserved semantics, absent artifacts, and plausibility. We shed light on the relationship between feature space and problem space, and we introduce the concept of side-effect features as the by-product of the inverse feature-mapping problem. This enables us to define and prove necessary and sufficient conditions for the existence of problem-space attacks. Secondly, building on our general formalization, we propose a novel problem-space attack on Android malware that overcomes past limitations in terms of semantics and artifacts. We have tested our approach on a dataset with 150K Android apps from 2016 and 2018 which show the practical feasibility of evading a state-of-the-art malware classifier along with its hardened version. Thirdly, we explore the effectiveness of adversarial training as a possible approach to enforce robustness against adversarial samples, evaluating its effectiveness on the considered machine learning models under different scenarios. Our results demonstrate that "adversarial-malware as a service" is a realistic threat, as we automatically generate thousands of realistic and inconspicuous adversarial applications at scale, where on average it takes only a few minutes to generate an adversarial instance.

研究の動機と目的

• 変換、意味的整合性、非ML前処理に対する耐性、および出力オブジェクトの妥当性に関する明確な制約を伴う、問題空間における敵対的攻撃の形式化。
• 副作用特徴の概念を用いて、攻撃の存在に必要なおよび十分な条件を同定・定義する。
• 従来のマルウェア攻撃法の限界（意味的違反、前処理への感受性、検出可能なアーティファクトなど）を、体系的かつスケーラブルなアプローチで克服する。
• ハードened分類器を回避できる、現実的で目立たない数千個の敵対的Androidアプリを生成する実用的可行性を示す。
• 将来的な問題空間における防御研究を促進するため、コードとデータセットを責任を持って公開する。

提案手法

• 利用可能な変換、意味的整合性の保持、非ML前処理に対する耐性、出力オブジェクトの妥当性という4つの主要な制約を伴う、問題空間攻撃の形式化を提案する。
• 問題空間変換に起因する意図しない特徴変化である「副作用特徴」の概念を導入し、特徴空間と問題空間を結ぶ。
• 特徴摂動と変換の実現可能性の相互作用に基づき、問題空間攻撃の存在に必要なおよび十分な条件を定義する。
• 自動ソフトウェア移植を用いた新規なAndroidマルウェア攻撃を開発し、意味的整合性を保持し、妥当性があり、強力な敵対的変種を生成する。
• 不透明な述語を用いて動的意味的整合性を保持し、静的プログラム解析を回避する。これにより、ノーオプやIATパッチングのような検出可能なアーティファクトを避ける。
• 2017年から2018年までの17万個のAndroidアプリから成るデータセットを用い、DREBIN分類器の標準版およびハードened版に対する攻撃の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 実世界の分野（例：マルウェア）における問題空間における敵対的攻撃を定義するにあたり、必要なおよび十分な形式的制約は何か？
• RQ2 問題空間変換から副作用特徴はどのように生じるのか。また、特徴空間と問題空間を結ぶ役割は何か？
• RQ3 従来の問題空間攻撃（例：マニフェストの変更やIATパッチング依存）はなぜ、耐性とスケーラビリティを達成できないのか？
• RQ4 自動ソフトウェア移植を用いて、意味的整合性を保持し、ML分類器を回避し、非ML前処理に対しても耐性を持つ敵対的マルウェアを生成できるか？
• RQ5 現実的で目立たない状態を保ちつつ、敵対的マルウェアをどの程度スケールで生成できるか？

主な発見

• 提案された形式的フレームワークにより、従来の問題空間攻撃の体系的比較が可能となり、意味的整合性の保持や前処理に対する耐性の欠如といった弱みが明らかになった。
• 副作用特徴は、逆特徴マッピングの重要な副産物であることが示され、問題空間攻撃の実現可能性を評価する手がかりとなる。
• 新規攻撃は、17万個のAndroidアプリから成るデータセット上で、DREBINマルウェア分類器の標準版およびハードened版の両方を効果的に回避した。
• 平均して、1つの敵対的Androidアプリを生成するのに2分未塔であり、高いスケーラビリティと実用的可行性を示した。
• 攻撃は静的解析に対しても耐性があり、ノーオプやIATパッチングのような検出可能なアーティファクトを回避しており、従来の手法とは異なっている。
• 著者らは、将来的な問題空間における防御研究を支援するため、責任を持ってコードとデータを公開した。