[論文レビュー] Improving Robustness of ML Classifiers against Realizable Evasion Attacks Using Conserved Features

Liang Tong, Bo Li+4 more|arXiv (Cornell University)|Aug 28, 2017

Advanced Malware Detection Techniques参考文献 40被引用数 19

ひとこと要約

本稿では、悪意ある機能を損なわずに変更できない特徴（保存的特徴）を同定し、それを強制することで、PDFマルウェア検出における現実可能な撹乱攻撃に対する機械学習分類器の耐性を向上させる手法を提案する。これらの特徴を adversarial training に統合することで、多様な現実可能な攻撃にわたる強力な一般化性能を達成し、攻撃固有の防御手法を上回り、従来の特徴空間手法が失敗した構造ベースの検出器に対しても有効であることが示された。

ABSTRACT

Machine learning (ML) techniques are increasingly common in security applications, such as malware and intrusion detection. However, ML models are often susceptible to evasion attacks, in which an adversary makes changes to the input (such as malware) in order to avoid being detected. A conventional approach to evaluate ML robustness to such attacks, as well as to design robust ML, is by considering simplified feature-space models of attacks, where the attacker changes ML features directly to effect evasion, while minimizing or constraining the magnitude of this change. We investigate the effectiveness of this approach to designing robust ML in the face of attacks that can be realized in actual malware (realizable attacks). We demonstrate that in the context of structure-based PDF malware detection, such techniques appear to have limited effectiveness, but they are effective with content-based detectors. In either case, we show that augmenting the feature space models with conserved features (those that cannot be unilaterally modified without compromising malicious functionality) significantly improves performance. Finally, we show that feature space models enable generalized robustness when faced with a variety of realizable attacks, as compared to classifiers which are tuned to be robust to a specific realizable attack.

研究の動機と目的

• 現実可能な撹乱攻撃に対するPDFマルウェア検出における特徴空間 adversarial training の有効性を評価すること。
• 悪意ある機能を損なわずに変更できない「保存的特徴」を、新規のアルゴリズム的手法を用いて同定すること。
• adversarial training において保存的特徴を強制することで、特に従来の手法が失敗した構造ベースの検出器においても耐性が著しく向上することを示すこと。
• 保存的特徴に基づく特徴空間モデルで得られる耐性が、複数の異なる現実可能な攻撃に一般化するかを調査すること。
• 保存的特徴に基づく防御が、それらを回避することを目的とした攻撃に対しても依然として有効であるかを示すこと。

提案手法

• 複数の悪意あるPDFシードに対して一様な保存的特徴集合を計算するための Forward Elimination アルゴリズムを提案し、ファイル間での特徴の一貫性と依存関係を評価する。
• PDF内の構造的パスを分析することで保存的特徴を同定する：パスを削除すると悪意ある機能が破壊される場合、そのパスは保存的とみなす。
• 特徴の変換またはマッピングを適切に行い、SL2013、Hidost、PDFRate-B などの複数の分類器に保存的特徴集合を適用する。
• 摂動中も保存的特徴が変化しないように制約を課すことにより、保存的特徴を adversarial training に統合し、悪意ある意図を維持する。
• 特徴選択のバランスを図るため、β（3に設定）というパrameterized閾値を用いる。
• 内容ベースの検出器（例：PDFRate-B）において、保存的特徴を検出するためにバイナリ特徴を活用し、変更されたバージョンを生成して特徴値の変化を観察する。

実験結果

リサーチクエスチョン

• RQ1 特徴空間 adversarial training は、PDFマルウェア検出における現実可能な撹乱攻撃に対して効果的に防御を提供できるか？
• RQ2 コンテンツベースの検出では成功しているが、構造ベースの検出器（例：SL2013 や Hidost）では失敗する特徴空間手法の理由は何か？
• RQ3 悪意ある機能に不可欠な「保存的特徴」を自動的に同定し、耐性向上に活用する方法は何か？
• RQ4 保存的特徴に基づく特徴空間モデルから得られる耐性は、複数の異なる現実可能な攻撃に一般化するか？
• RQ5 保存的特徴に基づく防御は、それらを回避することを目的とした攻撃に対しても依然として耐性を示すか？

主な発見

• 特徴空間モデルを用いた adversarial retraining では、SL2013 や Hidost などの構造ベースのPDFマルウェア検出器に対して十分な耐性が得られず、コンテンツベースの検出では成功していたが、構造ベースでは失敗した。
• これに対して、保存的特徴を含む adversarial retraining では、構造ベースの検出器に対しても強力な耐性が達成され、標準的手法が失敗する状況でも本手法の有効性が示された。
• adversarial training 時に保存的特徴を強制する本手法は、良好な一般化性能を示した：特徴空間攻撃によって強化されたモデルは、複数の異なる現実可能な攻撃に対しても耐性を維持した。
• 現実可能な攻撃が保存的特徴を無効化することを目的として設計された場合でも、保存的特徴を用いて訓練されたモデルは高い耐性を維持した。これは、洗練された撹乱戦略に対しても耐性があることを示している。
• l1正則化を用いたスパースモデルでは、保存的特徴との重複が最小限に抑えられていた：SL2013 では12個の保存的特徴のうち3個、PDFRate-B では1個しか選択されていなかった。これは、標準的なスパース化手法が重要な特徴を同定する能力に限界があることを示している。
• 一様な保存的特徴集合は β=3 を用いて計算された。これにより、シード間の一貫性が保たれるとともに、悪意ある機能の維持が確保された。