[論文レビュー] Throttling Malware Families in 2D

Mohamed Nassar, Haı̈dar Safa|arXiv (Cornell University)|Jan 29, 2019

Advanced Malware Detection Techniques参考文献 9被引用数 4

ひとこと要約

本論文は、t-SNEに基づくパイプラインを提案し、2次元空間でマルウェアファミリーを可視化・分類する。t-SNEで埋め込みられた表現は、SVM分類器の性能を顕著に向上させることを示した。高次元のn-gram特徴量を2次元に低次元化することで、交差検証精度が向上し、特徴量工学を最小限に抑えた状態で、9クラスのマルウェアデータセットにおいてテストloglossが0.1719に達した。

ABSTRACT

Malicious software are categorized into families based on their static and dynamic characteristics, infection methods, and nature of threat. Visual exploration of malware instances and families in a low dimensional space helps in giving a first overview about dependencies and relationships among these instances, detecting their groups and isolating outliers. Furthermore, visual exploration of different sets of features is useful in assessing the quality of these sets to carry a valid abstract representation, which can be later used in classification and clustering algorithms to achieve a high accuracy. In this paper, we investigate one of the best dimensionality reduction techniques known as t-SNE to reduce the malware representation from a high dimensional space consisting of thousands of features to a low dimensional space. We experiment with different feature sets and depict malware clusters in 2-D. Surprisingly, t-SNE does not only provide nice 2-D drawings, but also dramatically increases the generalization power of SVM classifiers. Moreover, obtained results showed that cross-validation accuracy is much better using the 2-D embedded representation of samples than using the original high-dimensional representation.

研究の動機と目的

• t-SNEが低次元空間におけるマルウェアファミリーの可視化に有効であるかを検討すること。
• 高次元入力と比較して、t-SNEで埋め込みられた表現がSVM分類器の一般化性能を向上させるかを評価すること。
• t-SNEと組み合わせた単純なn-gram特徴量のマルウェア分類における有効性を評価すること。
• t-SNEとSVMを組み合わせた軽量で初期洞察を得るための分類パイプラインを構築すること。
• 9クラス、クラス不均衡を伴う大規模かつ現実世界のマルウェアデータセットを用いて、手法の妥当性を検証すること。

提案手法

• マルウェアバイナリから3-, 4-, 5バイトn-gram特徴量を抽出し、頻度上位1,000個を選択する。
• t-SNEを用いて1,000次元の特徴空間を2次元埋め込みに低次元化し、perplexity=5、学習率200を設定する。
• t-SNEで埋め込み済みの訓練データに対してRBFカーネルを用いたSVMを訓練し、訓練集合および交差検証集合で評価する。
• テストでは、訓練データ＋テストデータを統合してt-SNEを適用し、テストデータ点を埋め込み、学習済みSVMでクラス確率を予測する。
• Kaggleへの提出を通じて、真のラベルを入手不可の状態でテストセットの対数損失を評価する。
• パrametricでないt-SNEマッピングを用い、テストデータの再訓練を回避し、全データの共同t-SNE適合に依存する。

実験結果

リサーチクエスチョン

• RQ1 t-SNEによる可視化は、2次元空間でマルウェアファミリー間の構造的関係やクラスタを効果的に明らかにできるか？
• RQ2 t-SNE埋め込みは、マルウェア分類タスクにおけるSVM分類器の一般化性能を向上させるか？
• RQ3 交差検証精度の観点から、t-SNEで埋め込みられた特徴量と元の高次元特徴量の性能はどのように比較されるか？
• RQ4 t-SNEと組み合わせた単純なn-gram特徴量セットは、膨大な特徴量工学を要せず、競争力のある結果を達成できるか？
• RQ5 t-SNE–SVMパイプラインは、クラス不均衡を伴う大規模な現実世界のマルウェアデータセットにも一般化可能か？

主な発見

• t-SNE埋め込みは、3-および5クラスサブセットにおいて交差検証精度を2倍に向上させ、2次元表現が1,000次元入力よりも優れた性能を示した。
• 9クラスの全データセットにおいて、3バイトグラムを用いた2次元埋め込み表現は、交差検証精度が94.26%に達したのに対し、元の1,000次元空間ではたった56.76%であった。
• 全データセットにおける最終的なテストloglossは0.1719であり、ランダム分類器のベースライン2.1972と比べて顕著な改善を示した。
• 1,000次元空間では訓練精度が最大99.66%に達したが、交差検証精度は低く、過学習が顕著であった。t-SNEはこの過学習を効果的に緩和した。
• 2次元埋め込み空間は優れたクラスタビリティを示し、RBF-SVMのクラス間一般化能力を向上させた。
• 5-gram特徴量が2次元空間で最も優れた性能を示し、9クラスデータセットにおいて交差検証精度92.58%を達成し、3-および4-gramsを上回った。