[論文レビュー] KiloGrams: Very Large N-Grams for Malware Classification

Edward Raff, William Fleming+5 more|arXiv (Cornell University)|Aug 1, 2019

Advanced Malware Detection Techniques参考文献 40被引用数 11

ひとこと要約

この論文では、計算コストと過学習の懸念を克服し、極めて大きな n（≥1024）ですらも、トップ-k の頻度の高い n-gram を非常に効率的に抽出できる KiloGrams を紹介する。巨大な n-gram のサイズにもかかわらず、この手法はマルウェア分類に予測可能で解釈可能な特徴量を生成し、EMBER データセット上で勾配ブースティング木と組み合わせた場合、プロフェッショナルが設計した特徴量と同等の性能を示す。

ABSTRACT

N-grams have been a common tool for information retrieval and machine learning applications for decades. In nearly all previous works, only a few values of n are tested, with n>6 being exceedingly rare. Larger values of n are not tested due to computational burden or the fear of overfitting. In this work, we present a method to find the top-k most frequent n-grams that is 60× faster for small n, and can tackle large n≥1024. Despite the unprecedented size of n considered, we show how these features still have predictive ability for malware classification tasks. More important, large n-grams provide benefits in producing features that are interpretable by malware analysis, and can be used to create general purpose signatures compatible with industry standard tools like Yara. Furthermore, the counts of common n-grams in a file may be added as features to publicly available human-engineered features that rival efficacy of professionally-developed features when used to train gradient-boosted decision tree models on the EMBER dataset.

研究の動機と目的

• 従来、n 値が小さい（n≤6）場合に限られていた n-gram 分析の計算不能性と過学習の懸念に対処すること。
• 非常に大きな n（≥1024）に対しても、効率的にトップ-k の頻度の高い n-gram を特定できるスケーラブルな手法を開発すること。
• 巨大な n-gram であっても、マルウェア分類に予測力が残ることを示すこと。
• マルウェア分析の実務慣習と整合し、Yara などの業界ツールとの統合を可能にする解釈可能な特徴量を生成すること。
• n-gram のカウントが、公開済みの人的に設計された特徴量を強化し、プロフェッショナルが開発した特徴量と同等の性能を達成できることを示すこと。

提案手法

• 周囲の頻度カウントと pruning 策略の最適化により、トップ-k n-gram 抽出を高速化する新規アルゴリズムを提案し、小規模な n に対して 60× の高速化を達成した。
• 効率的なデータ構造とストリーミング技術を活用することで、n≥1024 に対してもスケーラブルに処理できる。
• バイナリファイルをバイトのシーケンスとして扱い、それらから最も頻出する n-gram を抽出する。
• 抽出された n-gram を機械学習モデルにおけるバイナリ特徴量またはカウントベースの特徴量として使用する。
• 頻出する n-gram から Yara 互換のシグネチャを生成することで、既存のマルウェア分析パイプラインへの統合を支援する。
• n-gram 特徴量を、標準的な人的に設計された特徴量（例：EMBER からのもの）と組み合わせ、勾配ブースティング木を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 n≥1024 の n-gram を、計算コストが著しく増大する状況でもスケーラブルに効率的に抽出できるか？
• RQ2 巨大な n-gram であっても、サイズの大きさや過学習のリスクを考慮しても、マルウェア分類に予測力が残るか？
• RQ3 大規模な n-gram が、実世界のマルウェア分析ワークフローで解釈可能で利用可能な特徴量を生成できるか？
• RQ4 人的に設計された特徴量と組み合わせた n-gram 特徴量が、マルウェア検出においてプロフェッショナルが開発した特徴量と同等の性能を発揮できるか？
• RQ5 抽出された n-gram を用いて、汎用的で Yara 互換のシグネチャを生成できるか？

主な発見

• 提案手法は、小規模な n に対してトップ-k n-gram 抽出を 60× に高速化し、スケーラブルな処理を可能にした。
• 従来、計算制約により不可能とされていた n=1024 以上のトップ-k n-gram の抽出を、本手法が成功裏に達成した。
• 巨大な n-gram（n≥1024）は依然としてマルウェア分類に予測力を持つことが示され、小規模な n にとどまらない有用性が裏付けられた。
• n-gram 特徴量は解釈可能であり、実用的な展開を可能にする Yara 互換のシグネチャの生成に利用可能である。
• 公開済みの人的に設計された特徴量と組み合わせた n-gram 特徴量は、EMBER データセット上でプロフェッショナルが開発した特徴量と同等の性能を達成した。