[論文レビュー] ITect: Scalable Information Theoretic Similarity for Malware Detection

Sukriti Bhattacharya, Héctor D. Menéndez+2 more|arXiv (Cornell University)|Sep 8, 2016

Advanced Malware Detection Techniques参考文献 26被引用数 8

ひとこと要約

ITectは、バイトn-gramにおけるエントロピーに基づくパターン（EnTS）と統計的言語モデル（SLaMM）を用いたスケーラブルで情報理論的アプローチのマルウェア検出システムであり、混合マルウェアデータセットで100%の精度と90.3%の正確性を達成し、動的分析やリバースエンジニアリングを一切行わず線形時間で動作するが、VirusTotalの56のAVエンジンすべてを精度および正確性の両面で上回っている。

ABSTRACT

Malware creators have been getting their way for too long now. String-based similarity measures can leverage ground truth in a scalable way and can operate at a level of abstraction that is difficult to combat from the code level. We introduce ITect, a scalable approach to malware similarity detection based on information theory. ITect targets file entropy patterns in different ways to achieve 100% precision with 90% accuracy but it could target 100% recall instead. It outperforms VirusTotal for precision and accuracy on combined Kaggle and VirusShare malware.

研究の動機と目的

• ポリモービックおよびメタモービックマルウェアの増加する量と洗練度に起因するスケーラビリティおよび回避攻撃の課題に対処すること。
• 動的分析、リバースエンジニアリング、人的介入なしに動作する検出手法を開発し、コストを低減し自動化を促進すること。
• 生のバイトストリングにおける情報理論的類似度を活用して、攻撃者が回避しにくい高レベルの抽象化でマルウェアを検出すること。
• 偽陽性が許されないデスクトップマルウェア分析に特に適した、高い精度と正確性を達成すること。
• 実世界のデータセットを用いて、パッケージ済み、メタモービック、ポリモービックの変種を含む多様なマルウェアタイプに対して、強力な性能を示すこと。

提案手法

• EnTSを用いて、ファイルのエントロピーの振幅および縦方向の変動から簡略化されたシグネチャを抽出し、これらを機械学習の特徴量として扱う。
• マルウェア（M）およびベンノンウェア（B）のゾーを用いてn-gram言語モデルを構築し、バイトレベルのパターンにおける統計的規則性を捉える。
• 3つの情報理論的指標—相互エントロピー、カルバック・ライブラー距離、平均二乗誤差—を用いて、懸念されるファイルのn-gram分布をMおよびBモデルと比較する。
• 3つのサブ分類器（MおよびBモデルに基づく）が全員一致してマルウェアと判断した場合にのみ、ファイルをマルウェアと分類することで、高い精度を確保する。
• 前処理、動的実行、スタティック解析を一切行わず、生のバイトストリング上で直接処理することで、分類に線形時間計算量を適用する。
• EnTSとSLaMMを補完的検出器として統合：EnTSはエントロピーパターンによりポリモービックマルウェアを標的とし、SLaMMは統計的言語モデリングによりメタモービックおよびパッケージ済みマルウェアを検出する。

実験結果

リサーチクエスチョン

• RQ1 生のバイトストリング上で動作する情報理論的類似度測定は、動的分析やリバースエンジニアリングなしに、高い精度と正確性でマルウェアを検出可能か？
• RQ2 エントロピーパターンとn-gram言語モデルは、ポリモービック、メタモービック、パッケージ済みの変種を含む多様なマルウェアファミリーをどの程度検出可能か？
• RQ3 ITectの性能は、既存のアンチウイルスエンジンと比較して、特に実世界のマルウェアデータセットにおける精度および正確性の観点でどの程度優れているか？
• RQ4 実行に依存しない線形時間の手法は、テストセットにおけるマルウェアの割合が変化しても、強固な検出性能を達成可能か？
• RQ5 ベンノンウェアおよびマルウェアゾー上で訓練された統計的言語モデルは、情報理論的乖離に基づいて、マルウェアとベンノンソフトウェアを効果的に区別可能か？

主な発見

• ITectは、30,000件のマルウェアおよび2,000件のベンノンファイルから成る混合データセットで100%の精度と90.3%の正確性を達成し、VirusTotalの56のすべてのAVエンジンを上回った。
• 最高のVirusTotalエンジンでさえ99.4%の精度に留まり、正確性は71.4%にとどまり、ITectがはるかに優れた全体的な正確性を提供していることが示された。
• ITectの精度は、テストセットにおけるマルウェアの割合が50%から0%に低下しても100%で一定を保った一方で、正確性は向上した。
• EnTSおよびSLaMMの両コンponentは、それぞれの設計目的とは異なるマルウェアタイプを検出していた—EnTSは圧縮/暗号化領域のおかげでメタモービックマルウェアを検出し、SLaMMはベンノンモデルにおける低エントロピーのおかげでポリモービックマルウェアを検出した。
• ITectの時間計算量はファイル数に対して線形であるため、大規模なマルウェア分析パイプラインへのスケーラブルな展開が可能である。
• この手法は実行に依存せず、生の文字列上で直接処理されるため、仮想マシン、サンドボックス、リバースエンジニアリングの必要性を回避し、人的および計算的オーバーヘッドを削減する。