[論文レビュー] Hardening Classifiers against Evasion: the Good, the Bad, and the Ugly

Tong Liang, Bo Li+3 more|arXiv (Cornell University)|Aug 28, 2017

Advanced Malware Detection Techniques被引用数 6

ひとこと要約

本論文は、マルウェア検出における現実可能な回避攻撃に対して機械学習分類器を強化するための特徴空間における敵対的モデルの有効性を評価している。構造ベースのPDFマルウェア検出では限定的な成功を示すが、悪意ある機能を保持する保存された特徴を組み込むことで、コンテンツベースの検出器ではより効果的であることが判明した。これにより、多様な攻撃に一般化された耐性が得られる。

ABSTRACT

Machine learning (ML) techniques are increasingly common in security applications, such as malware and intrusion detection. However, ML models are often susceptible to evasion attacks, in which an adversary makes changes to the input (such as malware) in order to avoid being detected. A conventional approach to evaluate ML robustness to such attacks, as well as to design robust ML, is by considering simplified feature-space models of attacks, where the attacker changes ML features directly to effect evasion, while minimizing or constraining the magnitude of this change. We investigate the effectiveness of this approach to designing robust ML in the face of attacks that can be realized in actual malware (realizable attacks). We demonstrate that in the context of structure-based PDF malware detection, such techniques appear to have limited effectiveness, but they are effective with content-based detectors. In either case, we show that augmenting the feature space models with conserved features (those that cannot be unilaterally modified without compromising malicious functionality) significantly improves performance. Finally, we show that feature space models enable generalized robustness when faced with a variety of realizable attacks, as compared to classifiers which are tuned to be robust to a specific realizable attack.

研究の動機と目的

• 特徴空間における敵対的モデルが、実際のマルウェアにおける現実可能な回避攻撃に対して有効であるかどうかを評価すること。
• 簡素化された攻撃モデルが、現実世界の敵対的マルウェアバージョンを検出する際の限界を調査すること。
• 悪意ある機能を破壊しない限り変更できない「保存された特徴」が分類器の耐性に与える影響を調査すること。
• 特徴空間モデルが、特定の攻撃タイプに最適化されたものではなく、複数のタイプの現実可能な攻撃に一般化して耐性を発揮できるかどうかを特定すること。

提案手法

• 特徴空間における敵対的攻撃を受けて訓練された機械学習分類器を評価し、摂動の大きさを制限することで回避試行を模倣している。
• 2種類のマルウェア検出器—構造ベース（PDFファイルの構造を分析）とコンテンツベース（ファイルの内容を分析）—の性能を比較している。
• 保存された特徴を特徴空間に導入しており、これは悪意ある動作を維持するために変更できない属性として定義されている。
• ファイル構造や内容を変更して検出を回避するような、複数の現実可能な攻撃に対して耐性を評価している。
• 特徴空間の制約を用いた敵対的訓練により一般化を向上させ、未観測の攻撃バージョンに対しても耐性をテストしている。

実験結果

リサーチクエスチョン

• RQ1 特徴空間における敵対的モデルは、実際のマルウェアにおける現実可能な回避攻撃に対してどれほど効果的か？
• RQ2 保存された特徴の導入により、機械学習分類器の現実世界の敵対的変更に対する耐性は向上するか？
• RQ3 簡素化された攻撃に対して訓練された特徴空間モデルは、複数のタイプの現実可能な攻撃に一般化できるか、それとも特定の攻撃パターンにのみ有効か？
• RQ4 構造ベースとコンテンツベースのマルウェア検出器は、特徴空間における敵対的訓練を用いた場合、回避攻撃に対してどのように異なる脆弱性を示すか？

主な発見

• 特徴空間における敵対的訓練は、現実可能な攻撃に対して構造ベースのPDFマルウェア検出器を強化する上で限定的な効果しか示さない。
• 同じアプローチは、特に保存された特徴を組み込むことで、コンテンツベースのマルウェア検出器に対しては顕著に効果的である。
• 特徴空間に保存された特徴を組み込むことで、攻撃者が機能を破壊せずに重要な属性を自由に変更できなくなるため、分類器の耐性が向上する。
• 簡素化された攻撃に対して訓練された特徴空間モデルは、特定の攻撃タイプに最適化された分類器よりも、多様な現実可能な攻撃に一般化して耐性を発揮する。
• 保存された特徴の使用により、一般化された耐性が得られ、分類器がより広範な回避技術に対して耐性を持つようになる。