[論文レビュー] Learning from Context: Exploiting and Interpreting File Path Information for Better Malware Detection

Adarsh Kyadige, Ethan M. Rudd+1 more|arXiv (Cornell University)|May 16, 2019

Advanced Malware Detection Techniques参考文献 44被引用数 5

ひとこと要約

本論文では、静的マルウェア検出を向上させるために、ポータブル実行可能（PE）ファイルの内容とファイルパス情報を併用して共同で分析するマルチビュー深層学習モデルを提案する。実際の顧客エンドポイントデータを用い、インfra構成の最小限の変更で、10⁻³ FPRで32.3%、10⁻⁴ FPRで33.1%の誤検出率低下を達成した。

ABSTRACT

Machine learning (ML) used for static portable executable (PE) malware detection typically employs per-file numerical feature vector representations as input with one or more target labels during training. However, there is much orthogonal information that can be gleaned from the extit{context} in which the file was seen. In this paper, we propose utilizing a static source of contextual information -- the path of the PE file -- as an auxiliary input to the classifier. While file paths are not malicious or benign in and of themselves, they do provide valuable context for a malicious/benign determination. Unlike dynamic contextual information, file paths are available with little overhead and can seamlessly be integrated into a multi-view static ML detector, yielding higher detection rates at very high throughput with minimal infrastructural changes. Here we propose a multi-view neural network, which takes feature vectors from PE file content as well as corresponding file paths as inputs and outputs a detection score. To ensure realistic evaluation, we use a dataset of approximately 10 million samples -- files and file paths from user endpoints of an actual security vendor network. We then conduct an interpretability analysis via LIME modeling to ensure that our classifier has learned a sensible representation and see which parts of the file path most contributed to change in the classifier's score. We find that our model learns useful aspects of the file path for classification, while also learning artifacts from customers testing the vendor's product, e.g., by downloading a directory of malware samples each named as their hash. We prune these artifacts from our test dataset and demonstrate reductions in false negative rate of 32.3% at a $10^{-3}$ false positive rate (FPR) and 33.1% at $10^{-4}$ FPR, over a similar topology single input PE file content only model.

研究の動機と目的

• PEファイルの内容にのみ依存する静的マルウェア検出器の限界を是正し、ファイルパスのような文脈的情報を無視している点を改善する。
• ファイルパス（本質的に悪意のあるものではないが）が、マルウェアと良性ソフトウェアを区別するための有用なシグナルを提供できるかどうかを調査する。
• PEコンテンツ特徴とファイルパス表現を統合するマルチビュー深層学習モデルを構築し、検出性能を向上させる。
• 実際の顧客エンドポイントから得た大規模かつ実世界の商用データセットを用いて、モデルの実用的妥当性を評価する。
• LIMEを用いてモデルの解釈性を確保し、学習されたパターンがデータアーチファクトではなく、意味のあるマルウェアヒューリスティクスを反映していることを検証する。

提案手法

• 大手セキュリティベンダーのネットワークをカバーする実ユーザーのエンドポイントから、約1000万件のPEファイルとそのファイルパスを含む商用規模のデータセットを収集する。
• 標準的な静的解析手法を用いてPEファイルの内容から数値特徴ベクトルを抽出し、固定長の畳み込みニューラルネットワークを用いてファイルパスを埋め込み表現にする。
• PEコンテンツ特徴とファイルパス埋め込み表現を入力とするマルチビューニューラルネットワークを訓練し、後期統合（late fusion）により統合し、マルウェアの信頼度スコアを出力する。
• 時間的分割による検証を実施し、実世界の展開状況を模擬し、データ漏洩を回避する。
• LIME（Local Interpretable Model-agnostic Explanations）を適用し、モデルの意思決定を解釈し、検出スコアに最も影響を与えたパスセグメントを同定する。
• 解釈性分析により特定されたデータアーチファクト（例：ハッシュ名のテストサンプル）を除外することで、モデルの一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ファイルパス情報は、ファイル内容のみに依存する静的マルウェア検出において、意味のある補助的シグナルとして機能できるか？
• RQ2 PEコンテンツとファイルパス特徴を統合するマルチビュー深層学習モデルは、実世界の展開環境において、コンテンツのみのベースラインを上回る性能を示せるか？
• RQ3 モデルは、悪意のある行動や良性の行動に関連して、どのような特定のパスパターンや構造を学習しているか？
• RQ4 モデルの予測が、真のマルウェアヒューリスティクスではなく、データアーチファクト（例：テストサンプルの命名）にどれほど依存しているか？
• RQ5 LIMEのような解釈性技術は、ファイルパスデータ内の誤った信号を同定・除去することで、モデルの頑健性を向上させられるか？

主な発見

• マルチビューのPE+FPモデルは、10⁻³の誤検出率（FPR）条件下で、コンテンツのみのモデルと比較して誤検出率を32.3%低減した。
• 10⁻⁴の誤検出率（FPR）条件下では、誤検出率を33.1%低減し、低FPR運用環境における優れた性能を示した。
• LIME分析により、モデルが特定のパスパターン（例：オフスカレーション技術や一般的なマルウェアドロッパー行動）と高い検出スコアを関連付けていることが明らかになった。
• また、ハッシュ名のファイルパスを含む誤ったアーチファクトも学習しており、後にこれを除外することで一般化性能が向上した。
• アーチファクトを含むサンプルを削除した後、モデルの性能が顕著に向上した。これは、文脈的情報が適切にクリーニングされない場合、ノイズを引き起こす可能性があることを確認した。
• ファイルパスにはエンドポイントの追加インストルメンテーションが不要であるため、既存の静的検出パイプラインへの導入が容易であり、最小限のインfra変更で実装可能である。