[論文レビュー] Against All Odds: Winning the Defense Challenge in an Evasion Competition with Diversification

Erwin Quiring, Lukas Pirch+3 more|arXiv (Cornell University)|Oct 19, 2020

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本論文では、Windows PEマルウェア検出における悪意ある回避攻撃に耐性を持つ、多様で階層的な防御を組み合わせた防御手法PEberusを提示する。意味的ギャップの低減、異なる特徴量セットを用いたアンサンブル分類、反復的攻撃を検出する状態保持型検出メカニズムを統合することで、PEberusは、実世界の回避攻撃を効果的に防ぎ、機械学習ベースのセキュリティシステムにおける敵対的硬化の重要性を浮き彫りにした。

ABSTRACT

Machine learning-based systems for malware detection operate in a hostile environment. Consequently, adversaries will also target the learning system and use evasion attacks to bypass the detection of malware. In this paper, we outline our learning-based system PEberus that got the first place in the defender challenge of the Microsoft Evasion Competition, resisting a variety of attacks from independent attackers. Our system combines multiple, diverse defenses: we address the semantic gap, use various classification models, and apply a stateful defense. This competition gives us the unique opportunity to examine evasion attacks under a realistic scenario. It also highlights that existing machine learning methods can be hardened against attacks by thoroughly analyzing the attack surface and implementing concepts from adversarial learning. Our defense can serve as an additional baseline in the future to strengthen the research on secure learning.

研究の動機と目的

• 機械学習ベースのマルウェア検出器が実世界のシナリオにおいて回避攻撃に対して脆弱であるという問題に取り組む。
• 単純で機能を保ったまま攻撃可能な、PEプログラムの意味論とその特徴量表現との間の意味的ギャップを克服する。
• ブラックボックス設定下で独立した攻撃者による標的型回避攻撃に耐性を持つ、堅牢な防御システムを開発する。
• モデル、特徴量、実行時検出における多様化が、回避攻撃に対する耐性を著しく向上させることを示す。
• 将来の敵対的機械学習におけるマルウェア検出分野の研究の基盤として、公開可能でプロダクション水準の防御基準を確立する。

提案手法

• PEプログラムの振る舞いとその静的特徴量表現との間の意味的ギャップを埋めるために、複数の多様なヒューリスティクスを適用する。
• 重ね合わせのない異なる特徴量セットを用いた勾配ブースティング決定木（GBDT）のアンサンブルを採用し、モデル固有の脆弱性を低減する。
• 分類器を標的とする反復的APIベースの回避攻撃を監視・検出する状態保持型防御メカニズムを実装する。
• 性能制約を厳密に満たすようにシステムを設計する：1%未満の偽陽性率、90%以上の真正陽性率、5秒以内の判断。
• 特徴量抽出および表現を標的とする攻撃に耐性を持つ前処理ハードニングを統合する。
• 評価ではブラックボックスAPIアクセスモデルを用い、内部モデル構造を公開しないままでも防御が有効であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 機械学習ベースのマルウェア検出器は、モデルの内部構造を公開しないまま、実世界の回避攻撃に対してどのように強化できるか？
• RQ2 特徴量セットや分類モデルにおける多様化は、回避攻撃に対する耐性をどの程度向上させ得るか？
• RQ3 状態保持型検出メカニズムは、分類器を標的とする反復的攻撃を効果的に検出し、ブロックできるか？
• RQ4 PEファイル表現における意味的ギャップが、回避攻撃を可能にする役割を果たすのか、そしてどのように低減できるか？
• RQ5 公開可能で再利用可能な状態で、実際のコンテスト環境においても高い耐性とパフォーマンスを発揮できる防御システムは構築可能か？

主な発見

• PEberusは、MicrosoftのEvasion Competitionのディフェンダー・チャレンジで1位を獲得し、独立した攻撃者による多様な高度な回避攻撃を効果的に防いだ。
• 多様なモデルと特徴量セットの使用により、モデル固有の脆弱性を利用した攻撃に対しても耐性を示した。
• 状態保持型防御メカニズムは、ブラックボックスAPI経由で繰り返し分類器をプローブする反復的攻撃を効果的に検出し、ブロックした。
• 強力な防御にもかかわらず、コードのオブスクリューションに基づく攻撃は一部成功したため、静的解析では意味的オブスクリューションを検出できない限界が浮き彫りになった。
• PEの意味論と特徴量表現との間の意味的ギャップは、ハードニングされたシステムにおいても重要な攻撃表面のままである。
• 防御システムはGitHub上で公開されており、敵対的機械学習におけるマルウェア検出分野の今後の研究のための再利用可能でプロダクション水準の基準を提供している。