[論文レビュー] Back to the Future: Malware Detection with Temporally Consistent Labels.

Brad Miller, Alex Kantchelian+10 more|arXiv (Cornell University)|Oct 26, 2015

Advanced Malware Detection Techniques参考文献 23被引用数 3

ひとこと要約

本論文は、マルウェア検出における時間的整合性のあるラベルを導入し、評価バイナリよりも前の訓練ラベルを保証することで、将来の知識漏洩を防ぐ。機械学習検出器とエキスパートのクエリ選択を組み合わせることで、80件の日次エキスパートクエリで0.5%の偽陽性率で89%の検出性能を達成し、ベースラインモデルを上回り、これまでに見逃されていたマルウェアの42%を検出する。

ABSTRACT

The malware detection arms race involves constant change: malware changes to evade detection and labels change as detection mechanisms react. Recognizing that malware changes over time, prior work has enforced temporally consistent samples by requiring that training binaries predate evaluation binaries. We present temporally consistent labels, requiring that training labels also predate evaluation binaries since training labels collected after evaluation binaries constitute label knowledge from the future. Using a dataset containing 1.1 million binaries from over 2.5 years, we show that enforcing temporal label consistency decreases detection from 91% to 72% at a 0.5% false positive rate compared to temporal samples alone. The impact of temporal labeling demonstrates the potential of improved labels to increase detection results. Hence, we present a detector capable of selecting binaries for submission to an expert labeler for review. At a 0.5% false positive rate, our detector achieves a 72% true positive rate without an expert, which increases to 77% and 89% with 10 and 80 expert queries daily, respectively. Additionally, we detect 42% of malicious binaries initially undetected by all 32 antivirus vendors from VirusTotal used in our evaluation. For evaluation at scale, we simulate the human expert labeler and show that our approach is robust against expert labeling errors. Our novel contributions include a scalable malware detector integrating manual review with machine learning and the examination of temporal label consistency.

研究の動機と目的

• 訓練ラベルが未来の知識を含まないよう保証することで、マルウェア検出におけるラベル漏洩問題を解消すること。
• 訓練ラベルに未来の知識が含まれないことを保証することで、検出性能を向上させること。
• エキスパートレビューのためのバイナリ選択を可能にすることで、ラベリング効率を高めるスケーラブルな検出器を開発すること。
• 人間のエキスパートによるラベリング誤りに対する本手法のロバストネスを評価すること。
• ラベル品質の向上が検出性能を顕著に向上させることを実証すること。

提案手法

• 訓練ラベルが評価バイナリよりも前に存在することを要件とすることで、時間的整合性を確保し、将来の知識漏洩を防止する。
• 不確実性と潜在的影響に基づいて、エキスパートラベラーに提出するバイナリを選択する機械学習検出器を開発する。
• ラベリング誤りに対するロバストネスを評価するために、人間エキスパートのラベリングをシミュレートする。
• 2.5年間にわたり収集された110万個のバイナリからなるデータセットを用いて、システムの訓練と評価を行う。
• 閾値に基づく選択戦略を適用し、ラベリングによって検出性能が最も向上する可能性が高いバイナリを優先する。
• エキスパートフィードバックを段階的にモデルに統合することで、時間経過とともに検出性能を改善する。

実験結果

リサーチクエスチョン

• RQ1 時間的サンプル整合性のみに比べ、ラベルの時間的整合性を強制することでマルウェア検出性能にどのような影響を与えるか？
• RQ2 機械学習とエキスパートラベリングを組み合わせたハイブリッドシステムは、完全に自動化されたモデルを上回る検出率を達成できるか？
• RQ3 現実的なラベリング環境下で、エキスパートクエリの頻度が検出性能に与える影響は何か？
• RQ4 本手法は、人間エキスパートによるラベリング誤りに対してどれほどロバストか？
• RQ5 本システムは、既存のウイルス対策ソリューションを回避するマルウェアをどれほど効果的に検出できるか？

主な発見

• 時間的ラベル整合性を強制すると、時間的サンプル整合性のみの場合と比較して、0.5%の偽陽性率における検出性能が91%から72%に低下し、ラベル漏洩の悪影響が顕著に示された。
• 提案された検出器は、エキスパートラベリングなしでは0.5%の偽陽性率で72%の真正陽性率を達成し、10件の日次エキスパートクエリで77%に向上する。
• 80件の日次エキスパートクエリを用いることで、真正陽性率は77%から上昇し、0.5%の偽陽性率で89%の検出性能を達成する。
• 本システムは、VirusTotalの32社のウイルス対策ベンダーがすべて初期に検出できなかったマルウェアの42%を検出する。
• エキスパート行動をシミュレートした結果、ラベリング誤りに対しても本手法はロバストであることが示され、実世界での実用的妥当性を示している。
• 本研究は、時間的整合性とエキスパートレビューによるラベル品質の向上が、検出結果を顕著に改善することを確認した。