[論文レビュー] Automatic Malware Description via Attribute Tagging and Similarity Embedding

Felipe N. Ducau, Ethan M. Rudd+3 more|arXiv (Cornell University)|May 15, 2019

Advanced Malware Detection Techniques被引用数 11

ひとこと要約

本論文では、意味的属性タグ付けと学習された類似性埋め込みを用いて、自動マルウェア記述を実現するディープラーニングベースのシステムを提案する。静的PEファイル特徴量とベンダー提供の検出名を用いて多ラベルニューラルネットワークを訓練することで、『ランサムウェア』『パッケージド』などの人間が理解可能なタグを95％の精度で生成（1タグあたり1％の偽陽性）、同時に元の特徴量と比較して32倍小さい埋め込み空間を学習し、1ショットマルウェアファミリー同定の性能を30％以上向上させる。

ABSTRACT

With the rapid proliferation and increased sophistication of malicious software (malware), detection methods no longer rely only on manually generated signatures but have also incorporated more general approaches like machine learning detection. Although powerful for conviction of malicious artifacts, these methods do not produce any further information about the type of threat that has been detected neither allows for identifying relationships between malware samples. In this work, we address the information gap between machine learning and signature-based detection methods by learning a representation space for malware samples in which files with similar malicious behaviors appear close to each other. We do so by introducing a deep learning based tagging model trained to generate human-interpretable semantic descriptions of malicious software, which, at the same time provides potentially more useful and flexible information than malware family names. We show that the malware descriptions generated with the proposed approach correctly identify more than 95% of eleven possible tag descriptions for a given sample, at a deployable false positive rate of 1% per tag. Furthermore, we use the learned representation space to introduce a similarity index between malware files, and empirically demonstrate using dynamic traces from files' execution, that is not only more effective at identifying samples from the same families, but also 32 times smaller than those based on raw feature vectors.

研究の動機と目的

• 従来のマルウェアファミリー命名における一貫性の欠如と有用な情報の不足を是正するため、意味的で人間が理解可能なタグ付けシステムを導入すること。
• 機械学習ベースの検出とシグネチャベースの文脈的理解のギャップを埋めるために、マルウェアのための低次元表現空間を学習すること。
• 特に少数例またはゼロショットの状況においても、効率的で正確かつスケーラブルな類似性ベースのマルウェア分析を可能にする、学習された埋め込みを用いた手法の実現。
• 複数のベンダーおよび検出システムからの知識を統合する統一的で拡張可能なマルウェア記述フレームワークの構築。
• 学習された埋め込みが、最小限のラベル付き例でマルウェアファミリーを同定する際、元の特徴ベクトルを上回ることの証明。

提案手法

• 静的PEファイル特徴量と、複数ベンダーの検出名から導出された意味的タグを用いて、多ラベルディープニューラルネットワークを訓練する。
• マルウェアの行動が類似するもの同士が距離的に近くなるような、共通の低次元ユークリッド空間を学習するための統合埋め込みアーキテクチャを採用する。
• 類似したタグを持つマルウェアが互いに近くなるように、トレーニング中にコントラスト損失を最小化する。
• 学習された埋め込み関数を用いて、低次元空間におけるコサイン距離またはユークリッド距離でファイル類似度を計算する。
• リアルタイムに新規の未観測マルウェアバイナリに対して記述タグと類似度スコアを予測するため、モデルをデプロイする。
• 動的トレースと最近傍分類を用いて評価し、1ショットおよび少数ショット条件でのファミリー同定精度を測定する。

実験結果

リサーチクエスチョン

• RQ1 静的バイナリ特徴量のみから、ディープラーニングモデルが人間が理解可能な意味的タグを正確に予測できるか？
• RQ2 学習された埋め込み空間は、元の特徴表現と比較して、マルウェアサンプル間の意味的類似性をより良く保持しているか？
• RQ3 提案された類似性メトリクスは、1つまたは数個の既知のサンプルしか持たない状況で、同じファミリーに属する新規マルウェアをどれほど効果的に同定できるか？
• RQ4 類似性検出性能を維持または向上させつつ、埋め込み空間を大幅に圧縮できるか？
• RQ5 タグ付けと埋め込みフレームワークは、多様なマルウェア分析ツールや検出システムを統合するための共通で拡張可能な基盤として機能できるか？

主な発見

• 11種類のタグ記述子のうち、平均10.52個が正しく予測され、1タグあたりの偽陽性率はわずか1％にとどまる。
• 統合埋め込みモデルは、元の1024次元特徴ベクトルを用いる場合と比較して、1ショットマルウェアファミリー同定の精度を30％以上向上させ、1つのアンカーサンプルで47％の精度を達成した。
• 学習された類似性メトリクスは、元の特徴表現と比較して32倍小さく、大規模なマルウェアコーパスのインデックス化と照会を効率的に行える。
• 特に、ファミリーに属する既知のサンプルが少数しか存在しない状況において、元の特徴量よりも効果的な類似性検索が可能である。
• 埋め込み空間から導出された類似性インデックスは、マルチヘッドネットワークバージョンよりも優れた性能を示しており、より良い一般化能力とクラスタリング能力を示している。
• 本システムは、少数ショット学習において優れた性能を示しており、最小限の事前例しか得られない新規マルウェアキャンペーンの同定に非常に適している。