[論文レビュー] Extending Detection with Forensic Information

Z. Berkay Celik, Patrick McDaniel+3 more|arXiv (Cornell University)|Mar 31, 2016

Advanced Malware Detection Techniques参考文献 47被引用数 7

ひとこと要約

本論文では、訓練時のみ利用可能なフォレンジック情報（実行時には利用不可）を用いて、知識蒸留、モデルインフルエンス、知識移譲技術を活用して、セキュリティ検出システムの性能を向上させる手法を提案している。このアプローチにより、顔認識では最大16.9%、マルウェアトラフィック検出では8.6%の検出誤り率低減が達成され、検出の正確性と再現率が向上した。

ABSTRACT

For over a quarter century, security-relevant detection has been driven by models learned from input features collected from real or simulated environments. An artifact (e.g., network event, potential malware sample, suspicious email) is deemed malicious or non-malicious based on its similarity to the learned model at run-time. However, the training of the models has been historically limited to only those features available at run time. In this paper, we consider an alternate model construction approach that trains models using forensic information--features available at training time but not at runtime--to improve the accuracy and resilience of detection systems. In particular, we adapt and extend recent advances in knowledge transfer, model influence, and distillation to enable the use of forensic data in a range of security domains. Our empirical study shows that privileged information increases detection precision and recall over a system with no privileged information: we observe up to 7.7% relative decrease in detection error for fast-flux bot detection, 8.6% for malware traffic detection, 7.3% for malware classification, and 16.9% for face recognition. We explore the limitations and applications of different privileged information techniques in detection systems. Such techniques open the door to systems that can integrate forensic data directly into detection models, and therein provide a means to fully exploit the information available about past security-relevant events.

研究の動機と目的

• 従来の検出モデルが実行時特徴のみに依存するという制限を是正し、訓練時のみ利用可能な貴重なフォレンジック情報を無視しないようにすること。
• 詳細なシステムログやフォストモーテム分析などの特権的フォレンジック情報が、検出の正確性と耐性にどのように寄与するかを調査すること。
• 実行時においては同様のデータを必要としないように、フォレンジックデータからの知見を検出モデルに移譲する手法を開発・評価すること。
• ボットネット検出、マルウェア分析、バイオメトリック認識を含む多様なセキュリティ分野において、異なる特権的情報技術の影響を定量化すること。

提案手法

• 訓練中にフォレンジック特徴を検出モデルに組み込むために、知識移譲技術を応用し、より豊富な歴史的データから学習できるようにすること。
• モデルインフルエンス分析を適用して、訓練サンプル（フォレンジックを含む）のうち、モデルの意思決定に最も影響を与えるものを同定し、モデルの解釈可能性と耐性を向上させること。
• 複雑でフォレンジック情報を組み込んだ教師モデルから、より小型で実行時効率の良い生徒モデルへと知識を蒸留する。
• 検出フレームワークを拡張し、訓練中にフォレンジック特徴を統合しつつ、実行時の効率性と実行可能性を保証すること。
• ネットワークトラフィック分析やマルウェア分類を含む、複数のセキュリティ分野でフォレンジックデータを活用できる統合パイプラインを設計すること。
• 多様な検出タスクにおける、さまざまな特権的情報統合戦略の有効性を評価すること。

実験結果

リサーチクエスチョン

• RQ1 訓練時にフォレンジック情報を統合することで、セキュリティシステムの検出正確性と耐性にどのような影響を与えるか？
• RQ2 知識移譲、モデルインフルエンス、蒸留の各技術が、特権的フォレンジックデータを検出に活用する上で、それぞれどのような相乗効果をもたらすか？
• RQ3 どのセキュリティ分野で特権的情報が検出性能の向上に最も寄与するか？
• RQ4 異なる特権的情報技術は、精度、再現率、検出誤り率低減の観点で、どのように比較されるか？
• RQ5 実行時にそのデータを公開しない条件下で、フォレンジックデータを検出モデルに統合する際の実用的限界は何か？

主な発見

• フォレンジック情報の統合により、ファストフラックスボット検出では最大7.7%の検出誤り率低減が達成され、正確性の向上が確認された。
• マルウェアトラフィック検出では、特権的フォレンジックデータを用いて訓練したことで、相対的に8.6%の検出誤り率低減が達成された。
• マルウェア分類では、検出誤り率が相対的に7.3%低下し、モデルの一般化性能の向上が示された。
• 顔認識システムでは、最大16.9%の相対的誤り率低減が達成され、バイオメトリクスシステムにおけるフォレンジックデータの価値が顕著に示された。
• 提案手法により、実行時にそのデータを必要としないままに、豊富なフォレンジック特徴を活用できる検出モデルが実現された。これにより運用効率が維持された。
• 実証的結果から、特権的情報が多様なセキュリティ応用において、精度と再現率の両方を顕著に向上させることを確認した。