[論文レビュー] Imbalanced Malware Images Classification: a CNN based Approach

Songqing Yue, Wang, Tianyang|arXiv (Cornell University)|Aug 27, 2017

Advanced Malware Detection Techniques参考文献 13被引用数 108

ひとこと要約

この論文は、マルウェア画像分類におけるクラス不均衡に対処するための重み付きソフトマックス損失を提案し、VGG-19のファインチューニングと複数のCNNでの検証を通じて有効性を示す。

ABSTRACT

Deep convolutional neural networks (CNNs) can be applied to malware binary detection via image classification. The performance, however, is degraded due to the imbalance of malware families (classes). To mitigate this issue, we propose a simple yet effective weighted softmax loss which can be employed as the final layer of deep CNNs. The original softmax loss is weighted, and the weight value can be determined according to class size. A scaling parameter is also included in computing the weight. Proper selection of this parameter is studied and an empirical option is suggested. The weighted loss aims at alleviating the impact of data imbalance in an end-to-end learning fashion. To validate the efficacy, we deploy the proposed weighted loss in a pre-trained deep CNN model and fine-tune it to achieve promising results on malware images classification. Extensive experiments also demonstrate that the new loss function can well fit other typical CNNs, yielding an improved classification performance.

研究の動機と目的

• CNNベースの分類におけるマルウェア画像データセットの高度に不均衡な課題に対処する。
• クラスサイズに依存する重みを用いた重み付きソフトマックス損失を導入し、学習をバランスさせる。
• 事前学習済みCNN（VGG-19）をファインチューニングし、複数のモデルで検証することでアプローチを実証する。

提案手法

• 重み付きソフトマックス損失 J0 = -(1/m) sum_i sum_j w_k 1(y(i)=j) log p_j^(i).
• w_k = 1 + (S_max - S_k) / (beta * S_max) を用いて重みを計算し、beta はスケーリングを制御する（経験的に beta=20）。
• 追加のドロップアウトおよびバッチ正規化層を加えた事前学習済みVGG-19モデルをファインチューニングする。最終層として重み付き損失を追加する。
• 25クラスの不均衡なマルウェア画像データセットでTop-1検証誤差を用いて評価する。重み付き損失あり/なしを複数のVGGバリアントで比較。
• Nvidia TITAN X上でMatConvNetを使用し、追加層を含む60層の最終アーキテクチャ。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡を考慮した損失は、不均衡なマルウェア画像データセット上でCNNの性能を改善できるか？
• RQ2 提案された重み付きソフトマックス損失は、試験モデル以外の異なるCNNアーキテクチャにも一般化するか？
• RQ3 スケーリングパラメータbetaが訓練の安定性と精度に与える影響は？
• RQ4 重み付き損失で事前学習済みCNNをファインチューニングすることは、元の損失を使用する場合と比較してどうか？
• RQ5 重み付け損失によって特徴表現にどのような質的変化が起こるか？

主な発見

• 重み付きソフトマックス損失はモデル全体のTop-1精度を改善する（例：VGG-19 は 97.32% から 98.63%へ）。
• VGGファミリのバリアント（VGG-19、VGG-F、VGG-M、VGG-S）で、重み付き損失は元の損失より一貫してテスト精度を改善。
• 重み付き損失でファインチューニングしたVGG-19は検証精度を高め、トレーニング曲線をより安定させる。
• Beta = 20 は他の試験値より収束を滑らかにし、最終誤差を改善する。
• 特徴マップは、重み付き損失の下でクラス固有の識別表現を示す。