[論文レビュー] MAB-Malware: A Reinforcement Learning Framework for Attacking Static Malware Classifiers

Wei Song, Xuezixiang Li+4 more|arXiv (Cornell University)|Mar 6, 2020

Advanced Malware Detection Techniques参考文献 53被引用数 22

ひとこと要約

MAB-Malware は、敵対的マルウェア攻撃生成をマルチアームドバンディット問題として定式化するブラックボックス強化学習フレームワークを提案する。探索と活用の最適化により、悪意ある回避率を最大化する。最先端の機械学習検出器では 74%–97% の回避率を達成し、商用 AV では 32%–48% を達成する。ペイロード変更を最小限に抑え、成功したペイロードを再利用することで、静的マルウェア分類器に対する効果的で解釈可能な攻撃を実現する。

ABSTRACT

Modern commercial antivirus systems increasingly rely on machine learning to keep up with the rampant inflation of new malware. However, it is well-known that machine learning models are vulnerable to adversarial examples (AEs). Previous works have shown that ML malware classifiers are fragile to the white-box adversarial attacks. However, ML models used in commercial antivirus products are usually not available to attackers and only return hard classification labels. Therefore, it is more practical to evaluate the robustness of ML models and real-world AVs in a pure black-box manner. We propose a black-box Reinforcement Learning (RL) based framework to generate AEs for PE malware classifiers and AV engines. It regards the adversarial attack problem as a multi-armed bandit problem, which finds an optimal balance between exploiting the successful patterns and exploring more varieties. Compared to other frameworks, our improvements lie in three points. 1) Limiting the exploration space by modeling the generation process as a stateless process to avoid combination explosions. 2) Due to the critical role of payload in AE generation, we design to reuse the successful payload in modeling. 3) Minimizing the changes on AE samples to correctly assign the rewards in RL learning. It also helps identify the root cause of evasions. As a result, our framework has much higher black-box evasion rates than other off-the-shelf frameworks. Results show it has over 74\%--97\% evasion rate for two state-of-the-art ML detectors and over 32\%--48\% evasion rate for commercial AVs in a pure black-box setting. We also demonstrate that the transferability of adversarial attacks among ML-based classifiers is higher than the attack transferability between purely ML-based and commercial AVs.

研究の動機と目的

• 実世界の AV がハードラベルしか公開しないことを踏まえ、静的マルウェア分類器向けに実用的なブラックボックス敵対的攻撃フレームワークを開発すること。
• 既存の強化学習ベースの攻撃フレームワークにおける状態依存モデリングの限界を克服するため、探索空間の複雑さを低減する状態なしのマルチアームドバンディットアプローチを採用すること。
• 成功したペイロードを再利用し、特徴量の変更を最小限に抑えることで、機能の維持と報酬信号の明確化を図ることで、回避成功率を向上させること。
• AV や機械学習検出器を回避する要因となる重要な行動や特徴を同定することで、回避の解釈可能性を高めること。
• 異なるマルウェア検出システム間での敵対的例の転送性を評価すること、特に機械学習ベースの分類器と商用 AV の間での転送性を対象とする。

提案手法

• 各行動（例：セクションの追加、ヘッダーの変更など）を報酬が確率的であるとみなすマルチアームドバンディット問題として敵対的攻撃生成をモデル化する。
• 行動の選択を状態に依存しない方式で行い、組み合わせ的爆発を回避する。各行動は独立しており、過去の行動に依存しないと仮定する。
• 無効な行動をフィルタリングし、マルウェアの動作を維持するための最小限で機能的な変更に制限する「アクション最小化モジュール」を導入する。
• 過去の試行で成功したペイロードの内容を再利用することで、バンディット設定における収束速度を向上させ、探索効率を高める。
• 分類結果（回避成功）に基づいて報酬を割り当て、意味のある報酬信号と解釈可能性を確保するため、摂動を最小限に抑える。
• 観察された成功に基づき、未確認のコンテンツを有する新しい行動を動的に追加することで、事前の攻撃表面の知識がなくても適応的探索が可能になる。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースのブラックボックスフレームワークは、機械学習ベースのマルウェア検出器および商用 AV において、既存の市販手法よりも著しく高い回避率を達成できるか？
• RQ2 状態なしのマルチアームドバンディット定式化は、状態ありの強化学習モデルと比較して、スケーラビリティとパフォーマンスの面でどのように向上するか？
• RQ3 成功したペイロードをどれだけ再利用できるかが、効果的な敵対的変換の発見をどれほど加速できるか？
• RQ4 PE ファイルに対する最小限の変更で、機能を維持しながら検出を回避するためにどの程度の変更が必要か。また、どの特徴量が回避に最も寄与しているか？
• RQ5 敵対的例は、異なるマルウェア検出システム間でどれほど転送可能か。特に、機械学習ベースの分類器と商用 AV の間での転送性は？

主な発見

• MAB-Malware は、純粋なブラックボックス設定下で、2 種類の最先端の機械学習ベースのマルウェア検出器において 74%–97% の回避率を達成した。
• このフレームワークは、6 つの商用アンチウイルスエンジンに対して 32%–48% の回避率を示し、既存の強化学習ベースの手法を顕著に上回った。
• 状態なしのバンディットモデルの採用により、学習の複雑さが低減され、状態ありの強化学習アプローチと比較して収束が速くなった。
• 成功したペイロードの再利用と特徴量の変更最小化により、より安定的かつ解釈可能な敵対的例が得られ、回避要因の明確な帰属づけが可能になった。
• 敵対的攻撃では、機械学習ベースの分類器間での転送性が高く、機械学習ベースのモデルと商用 AV 間の転送性は低い傾向にあり、アーキテクチャ的および検出メカニズムの差異が示唆された。
• フレームワークは、特定のセクションの追加やヘッダーの変更といった、回避に寄与する重要な行動や特徴を同定することで、解釈可能な分析を可能にした。