[論文レビュー] On Training Robust PDF Malware Classifiers

Yizheng Chen, Shiqi Wang+2 more|arXiv (Cornell University)|Apr 6, 2019

Advanced Malware Detection Techniques参考文献 55被引用数 6

ひとこと要約

本稿では、部分木の挿入および削除に対する頑健性を強制するために、PDFの木構造的距離計測方式を用いた検証可能頑健性訓練を提案する。92.27%の平均検証済み頑健性精度を達成するとともに、99.74%のテスト精度と0.56%の偽陽性率を維持し、限定的および無限大の攻撃者に対して、敵対的回避のコストを顕著に高める。

ABSTRACT

Although state-of-the-art PDF malware classifiers can be trained with almost perfect test accuracy (99%) and extremely low false positive rate (under 0.1%), it has been shown that even a simple adversary can evade them. A practically useful malware classifier must be robust against evasion attacks. However, achieving such robustness is an extremely challenging task. In this paper, we take the first steps towards training robust PDF malware classifiers with verifiable robustness properties. For instance, a robustness property can enforce that no matter how many pages from benign documents are inserted into a PDF malware, the classifier must still classify it as malicious. We demonstrate how the worst-case behavior of a malware classifier with respect to specific robustness properties can be formally verified. Furthermore, we find that training classifiers that satisfy formally verified robustness properties can increase the evasion cost of unbounded (i.e., not bounded by the robustness properties) attackers by eliminating simple evasion attacks. Specifically, we propose a new distance metric that operates on the PDF tree structure and specify two classes of robustness properties including subtree insertions and deletions. We utilize state-of-the-art verifiably robust training method to build robust PDF malware classifiers. Our results show that, we can achieve 92.27% average verified robust accuracy over three properties, while maintaining 99.74% accuracy and 0.56% false positive rate. With simple robustness properties, our robust model maintains 7% higher robust accuracy than all the baseline models against unrestricted whitebox attacks. Moreover, the state-of-the-art and new adaptive evolutionary attackers need up to 10 times larger $L_0$ feature distance and 21 times more PDF basic mutations (e.g., inserting and deleting objects) to evade our robust model than the baselines.

研究の動機と目的

• 最先端のPDFマルウェア分類器には、高い精度と低い偽陽性率を誇るが、簡単な変換によって容易に回避可能であるという、頑健性の重大なギャップが存在することを解決すること。
• 特定の敵対的操作（例：PDF木の部分木の挿入・削除）に対して、分類器の最悪事態の挙動を形式的に制限する検証可能な頑健性特性を定義すること。
• 高精度と低い偽陽性率を維持しながら、制限なしの攻撃者による回避コストを高める分類器の訓練を実現すること。
• 検証可能頑健性訓練が、指定された頑健性制約を超える高度な攻撃者に対しても、防御のハードルを引き上げることを実証すること。

提案手法

• PDF木の階層的構造に基づく新しい距離計測方式を導入し、部分木の挿入・削除に起因する意味的・文法的変化を定量化する。
• 検証可能な頑健性特性の2つのクラスを定義：部分木挿入頑健性と部分木削除頑健性。これにより、これらの変更が加えられた後も分類器出力がマルウェアとしてのまま保たれることを保証する。
• 記号的区間解析に基づく最先端の検証可能頑健性訓練技術を採用し、頑健性の境界を形式的に検証する。
• 検証可能頑健性訓練と互換性のあるニューラルネットワークアーキテクチャを採用し、ランダムフォレストなどの従来モデルに見られる制限を回避する。
• 適応的進化的攻撃および特徴空間攻撃を用いて頑健性を評価し、訓練済みの頑健性特性を標的にした攻撃も含む。
• 回避コストを$L_0$特徴距離およびモデルを回避するために必要なPDF基本変更（例：オブジェクトの挿入・削除）の回数によって定量化する。

実験結果

リサーチクエスチョン

• RQ1 PDFマルウェア分類器に対して、部分木の挿入・削除といった構造的変更の下でも一貫したマルウェア分類を保証する検証可能な頑健性特性を形式的に定義・実装できるか？
• RQ2 検証可能頑健性特性を用いた訓練により、指定された特性に制約されない無限大の攻撃者に対しても回避コストが上昇するか？
• RQ3 標準的な精度や偽陽性率を著しく低下させることなく、頑健性訓練を達成できるか？
• RQ4 提案手法は、特徴空間およびアプリケーション空間の両方の回避攻撃に対して、ベースラインモデルと比較してどれほど優れた耐性を示すか？

主な発見

• 提案手法は、3つの頑健性特性において平均92.27%の検証済み頑健性精度を達成し、テスト精度は99.74%、偽陽性率は0.56%を維持した。
• 制限なしのホワイトボックス攻撃に対して、強固なモデルはすべてのベースラインモデルよりも7%高い頑健性精度を維持した。
• 最先端の適応的攻撃者は、ベースラインと比較して、本モデルを回避するのに最大10倍の$L_0$特徴距離と21倍のPDF基本変更を要した。
• 「移動と散らばり」組み合わせ攻撃により、Robust A+C+Eモデルの頑健性評価精度は3週間で44%に低下し、早期収束と高い回避難易度を示した。
• Monotonic 100およびRobust A+Bモデルは、それぞれ1および263個の回避可能なPDFのみを生成したため、攻撃に対して著しく高い耐性を示した。
• 結果から、検証可能頑健性訓練が、指定された制約を超える攻撃者に対しても回避コストを高めることを確認し、防御機構としての有効性を裏付けた。