[論文レビュー] Continuous Learning for Android Malware Detection

Yizheng Chen, Zhoujie Ding+1 more|arXiv (Cornell University)|Feb 8, 2023

Data Stream Mining Techniques被引用数 5

ひとこと要約

本論文は、疑似損失に基づく不確実性サンプリングを用いたアクティブラーニングと階層的対照学習を組み合わせた、Androidマルウェア検出の連続的学習フレームワークを提案する。対照埋め込みを活用して類似度モデリングを向上させ、高不確実性のサンプルをラベル付け対象として選択することで、ベースラインの14％から9％へと偽陰性率を低下させ、7年間にわたり安定した性能を維持し、概念ずれの状況下でも先行するアクティブラーニング手法を上回る性能を発揮する。

ABSTRACT

Machine learning methods can detect Android malware with very high accuracy. However, these classifiers have an Achilles heel, concept drift: they rapidly become out of date and ineffective, due to the evolution of malware apps and benign apps. Our research finds that, after training an Android malware classifier on one year's worth of data, the F1 score quickly dropped from 0.99 to 0.76 after 6 months of deployment on new test samples. In this paper, we propose new methods to combat the concept drift problem of Android malware classifiers. Since machine learning technique needs to be continuously deployed, we use active learning: we select new samples for analysts to label, and then add the labeled samples to the training set to retrain the classifier. Our key idea is, similarity-based uncertainty is more robust against concept drift. Therefore, we combine contrastive learning with active learning. We propose a new hierarchical contrastive learning scheme, and a new sample selection technique to continuously train the Android malware classifier. Our evaluation shows that this leads to significant improvements, compared to previously published methods for active learning. Our approach reduces the false negative rate from 14% (for the best baseline) to 9%, while also reducing the false positive rate (from 0.86% to 0.48%). Also, our approach maintains more consistent performance across a seven-year time period than past methods.

研究の動機と目的

• マルウェアの進化と良性アプリの更新に伴い、分類器の性能が著しく低下する概念ずれの問題に対処すること。
• ラベル付けに最も情報の多いサンプルを効率的に選択することで、人間のアナリストへの依存を軽減すること。
• 階層的対照学習を活用して類似度モデリングを向上させ、徐々に変化するおよび急激な概念ずれの両方に対してモデルの耐性を高めること。
• 最小限のラベリング作業で長期間（例：7年間）にわたり高い検出性能を維持すること。
• 現実世界の展開環境において、偽陽性を最小限に抑えつつ偽陰性率を著しく低減すること。

提案手法

• 同じファミリー（高い類似度）、異なるファミリー（弱い類似度）、良性サンプル（類似しない）の3レベルでマルウェアサンプル間の類似度をモデル化する階層的対照学習フレームワークを提案する。
• 対照埋め込みを用いて既知のクラスタから離れたサンプル（不確実性が高く、ラベル付けが求められる）を特定する、疑似損失に基づく不確実性スコアリング手法を導入する。
• 固定されたラベリング予算（例：月50サンプル）を用いて、繰り返し新規にラベル付けされたサンプルを用いて分類器を再訓練するアクティブラーニングを採用し、継続的適応を可能にする。
• 類似したサンプル（例：同じマルウェアファミリー）を密にクラスタリングし、類似しないサンプルを分離する対照損失関数を用いることで、分布シフト下での一般化性能を向上させる。
• 対照エンコーダーと分類器のエンドツーエンド訓練を実施し、埋め込み空間から直接不確実性推定値を導出可能にする。
• 7年間分のAndroidアプリデータセットを用いて、概念ずれ下での性能を最先端のベースラインと比較して検証する。

実験結果

リサーチクエスチョン

• RQ1 重度のクラス不均衡下でも、階層的対照学習は新規マルウェアファミリーの検出を改善できるか？
• RQ2 対照埋め込みに基づく不確実性推定は、マルウェア検出におけるアクティブラーニングのサンプル選択をより効果的にするか？
• RQ3 本手法は、先行するアクティブラーニング手法と比較して、概念ずれ下でも長期間にわたり分類器の性能を維持できるか？
• RQ4 本手法は、ラベリング作業を最小限に抑えながら偽陰性率を顕著に低減できるか？
• RQ5 対照学習は、徐々に変化するおよび急激な概念ずれの両方に対して、Androidマルウェア検出の耐性をどの程度向上させるか？

主な発見

• 提案手法は7年間にわたり平均偽陰性率を、最良の先行ベースライン（14％）から9％へと低下させ、相対的に35％の改善を達成した。
• 概念ずれイベントからの回復後、F1スコアは約0.94で安定し、不確実性サンプリングを用いたベースラインSVMと比較して、長期間にわたり劣化が著しくない。
• 6か月間の展開後、固定分類器のF1スコアは0.99から0.76に低下し、継続的学習の重要性を浮き彫りにした。
• 2014年のMecorランサムウェアファミリーの爆発的拡散に対して、6月および7月にMecorサンプルを特定・ラベル付けすることで正常化を達成し、F1スコアを0.94に回復させた。
• 月50サンプル（月間アプリの1％）のラベリング予算で、F1スコア89％を達成し、このベンチマークで既存のアクティブラーニング手法を上回った。
• 本手法は時間経過にわたり一貫した性能を維持し、特に新規脅威の出現時における顕著な偽陰性のピークを示す先行手法とは対照的に、高い安定性を示した。