[論文レビュー] Microsoft Malware Classification Challenge

Royi Ronen, Marian Radu+3 more|arXiv (Cornell University)|Feb 22, 2018

Advanced Malware Detection Techniques参考文献 32被引用数 289

ひとこと要約

本論文は Microsoft Malware Classification Challenge dataset を紹介します。9 ファミリにわたる disassembly およびバイトコードの半テラバイト規模のコレクションで、20k samples を超えるサンプルを含み、データセットがマルウェア分類研究および Kaggle コンペの標準ベンチマークとしてどのように用いられてきたかを概説します。

ABSTRACT

The Microsoft Malware Classification Challenge was announced in 2015 along with a publication of a huge dataset of nearly 0.5 terabytes, consisting of disassembly and bytecode of more than 20K malware samples. Apart from serving in the Kaggle competition, the dataset has become a standard benchmark for research on modeling malware behaviour. To date, the dataset has been cited in more than 50 research papers. Here we provide a high-level comparison of the publications citing the dataset. The comparison simplifies finding potential research directions in this field and future performance evaluation of the dataset.

研究の動機と目的

• 大規模で効率的にポリモーフィックなマルウェアを分類する必要性を動機づける。
• データセットとその構成要素を説明し、研究とベンチマーキングを可能にする。
• データセットが公開と競技会でどのように引用され、今後の研究を指針づけてきたかを要約する。

提案手法

• 生の hex 内容と IDA のディスアセンブリからのメタデータを含むデータセット構成を説明する。
• 9 ファミリと対応する train サンプル数を定義する。
• データセットのマルウェア挙動のモデリングおよび Kaggle コンペのベンチマークとしての役割を説明する。
• データセットを引用した論文とその焦点領域の高レベルな文献比較を提供する。

実験結果

リサーチクエスチョン

• RQ1 Microsoft のマルウェアデータセットはどれくらい大規模で多様か、サンプルはどのように 9 ファミリにラベリングされているか？
• RQ2 このデータセットを用いてどのような特徴量や研究方向が探索されてきたか（例：特徴量エンジニアリング、スケーラビリティ、ロバスト性、ディープラーニング）？
• RQ3 データセットは文献におけるその後のマルウェア分類研究とベンチマーキングにどのような影響を与えたか？

主な発見

• データセットは未圧縮で約半 terabyte の規模で、20k 件超のサンプルに対してディスアセンブリ由来のメタデータと生のバイナリ内容を含む。
• データセットには 9 ファミリがあり、それぞれ固有の train サンプル数とラベルマッピングを持つ（例：Ramnit 1541、Lollipop 2478、Kelihos_ver3 2942、Vundo 475、Simda 42、Tracur 751、Kelihos_ver1 398、Obfuscator.ACY 1228、Gatak 1013）。
• データセットは2015年のリリース以来、研究論文50件超で標準ベンチマークとして引用されてきた。
• データセットを用いた公表物は、特徴量エンジニアリング、特徴量融合、スケーラビリティ、ロバスト性、分類手法、ディープラーニング、マルウェア著者識別など、さまざまな技術領域をカバーしている。
• 本研究は引用論文を貢献度で列挙・クラスタリングし、今後の研究方向性と性能評価のニーズを浮き彫りにする。