[論文レビュー] Semi-supervised classification for dynamic Android malware detection

Li Chen, Mingwei Zhang+2 more|arXiv (Cornell University)|Apr 19, 2017

Advanced Malware Detection Techniques参考文献 22被引用数 14

ひとこと要約

本論文は、APIコールログを用いて動的Androidマルウェア検出のためのモデルベース半教師付き（MBSS）分類フレームワークを提案する。ラベル付きおよびラベルなしAPKを活用して、条件付き期待最大化を用いてガウス・ミクスチャーモデルを推定する。MBSSは、サンプル内では98％の正確性を達成し、強い類似性下でもサンプル外で90％の検出率を維持する。訓練分布から逸脱するテストデータにおいても、SVM、kNN、LDAを著しく上回る性能を示す。

ABSTRACT

A growing number of threats to Android phones creates challenges for malware detection. Manually labeling the samples into benign or different malicious families requires tremendous human efforts, while it is comparably easy and cheap to obtain a large amount of unlabeled APKs from various sources. Moreover, the fast-paced evolution of Android malware continuously generates derivative malware families. These families often contain new signatures, which can escape detection when using static analysis. These practical challenges can also cause traditional supervised machine learning algorithms to degrade in performance. In this paper, we propose a framework that uses model-based semi-supervised (MBSS) classification scheme on the dynamic Android API call logs. The semi-supervised approach efficiently uses the labeled and unlabeled APKs to estimate a finite mixture model of Gaussian distributions via conditional expectation-maximization and efficiently detects malwares during out-of-sample testing. We compare MBSS with the popular malware detection classifiers such as support vector machine (SVM), $k$-nearest neighbor (kNN) and linear discriminant analysis (LDA). Under the ideal classification setting, MBSS has competitive performance with 98\% accuracy and very low false positive rate for in-sample classification. For out-of-sample testing, the out-of-sample test data exhibit similar behavior of retrieving phone information and sending to the network, compared with in-sample training set. When this similarity is strong, MBSS and SVM with linear kernel maintain 90\% detection rate while $k$NN and LDA suffer great performance degradation. When this similarity is slightly weaker, all classifiers degrade in performance, but MBSS still performs significantly better than other classifiers.

研究の動機と目的

• ラベル付きAndroidマルウェアサンプルの不足と、増加するラベルなしAPKの量という課題に対処する。
• 訓練分布とは異なる分布を示すサンプル外マルウェアにおいて、教師あり分類器の性能低下を克服する。
• ラベル付きおよびラベルなしの動的動作データを活用する、耐障害性の高いマルウェア検出手法を開発する。
• 大規模なラベルなしデータセットから高確率で悪意あるサンプルを特定することで、マルウェアトライアージの効率を向上させる。
• 特にN-gramベースの手法において、特徴抽出における悪意ある操作に対して耐性を確保する。

提案手法

• エミュレータ環境でAPKを実行することで、動的APIコールログを収集する。
• 良性および悪意ある動作を表現するために、有限のガウス分布の混合モデルをデータに適用する。
• ラベル付きおよびラベルなしデータを用いて、モデルパラメータを推定するために条件付き期待最大化（CEM）を適用する。
• 候補となる混合モデルの最適選択のため、ベイジアン情報量基準（BIC）を用いる。
• 学習済みの混合モデルから導出された後方確率に基づいて、新しいサンプルを分類する。
• 訓練データと異なる分布を示すテストデータ下で、MBSSの性能をSVM（線形および径数型）、kNN、LDAと比較する。

実験結果

リサーチクエスチョン

• RQ1 テストデータが訓練データと同一分布でない場合、半教師付き学習がマルウェア検出のロバストネスを向上させ得るか？
• RQ2 進化するシグネチャを持つサンプル外Androidマルウェアにおいて、MBSSは従来の分類器（SVM、kNN、LDA）と比較してどのように性能を発揮するか？
• RQ3 ラベルなしAPKを活用することで、動的マルウェア分析における検出正確性の向上と誤検出の低減にどの程度寄与できるか？
• RQ4 高次N-gramではなくユニグラム特徴を用いることで、マルウェア検出における悪意ある操作への耐性が向上するか？
• RQ5 実世界のAndroid APIコールログ分布に対して、ガウス分布の混合という仮定は妥当か？

主な発見

• MBSSは、サンプル内分類において98％の正確性と極めて低い偽陽性率を達成し、標準分類器と比較して競争力のある性能を示した。
• 訓練データとサンプル外データの類似性が強い状況では、MBSSと線形SVMが90％の検出率を維持したが、kNNとLDAは顕著な性能低下を示した。
• 類似性が弱まった場合、すべての分類器が性能を低下させたが、MBSSはSVM、kNN、LDAを上回る検出率を維持した。
• MBSSフレームワークは、分布シフトが生じる状況においても、ラベルなしデータを効果的に活用して検出のロバストネスを向上させた。
• 高次N-gramではなくユニグラム特徴を用いることで、特徴工学における悪意ある攻撃への耐性が向上した。
• この手法の性能は、ガウス混合仮定からの逸脱に対して感受性が高いため、極めて非ガウス的分布を示すデータでは注意が必要である。