[論文レビュー] Resilient and Adaptive Framework for Large Scale Android Malware Fingerprinting using Deep Learning and NLP Techniques

ElMouatez Billah Karbab, Mourad Debbabi|arXiv (Cornell University)|May 27, 2021

Advanced Malware Detection Techniques参考文献 45被引用数 7

ひとこと要約

PetaDroid は、NLP およびディープラーニングに基づくフレームワークであり、大規模な Android マルウェア検出およびファミリクラスタリングを実現する。インストラクション2Vec 特徴量にエントリの畳み込みニューラルネットワーク（CNN）を適用し、自己符号化器を用いてクラスタリングを実施する。検出では 98–99% の F1 スコアを達成し、クラスタリングの均質性は 96% に達する。自信に基づくデータセット拡張による自動的適応と、トレーニング中にコード断片をランダム化することで、変種化攻撃に対しても耐性を示す。

ABSTRACT

Android malware detection is a significat problem that affects billions of users using millions of Android applications (apps) in existing markets. This paper proposes PetaDroid, a framework for accurate Android malware detection and family clustering on top of static analyses. PetaDroid automatically adapts to Android malware and benign changes over time with resilience to common binary obfuscation techniques. The framework employs novel techniques elaborated on top of natural language processing (NLP) and machine learning techniques to achieve accurate, adaptive, and resilient Android malware detection and family clustering. PetaDroid identifies malware using an ensemble of convolutional neural network (CNN) on proposed Inst2Vec features. The framework clusters the detected malware samples into malware family groups utilizing sample feature digests generated using deep neural auto-encoder. For change adaptation, PetaDroid leverages the detection confidence probability during deployment to automatically collect extension datasets and periodically use them to build new malware detection models. Besides, PetaDroid uses code-fragment randomization during the training to enhance the resiliency to common obfuscation techniques. We extensively evaluated PetaDroid on multiple reference datasets. PetaDroid achieved a high detection rate (98-99% f1-score) under different evaluation settings with high homogeneity in the produced clusters (96%). We conducted a thorough quantitative comparison with state-of-the-art solutions MaMaDroid, DroidAPIMiner, MalDozer, in which PetaDroid outperforms them under all the evaluation settings.

研究の動機と目的

• マルウェアファミリの進化、新しい Android API の登場、および良性アプリの進化に伴い、検出システムの精度が低下する問題に対処する。
• 事前にマルウェアファミリの知識がなくても、教師なしでマルウェアファミリへの帰属を可能にし、新規脅威の特定に不可欠である。
• 静的解析における一般的な変種化技術（例：コード再配置、API 変更）に対して耐性を高める。
• 手動による特徴量設計に依存せず、NLP を模倣した自動的でスケーラブルな特徴量抽出手法を採用する。
• 自信に基づく自動データセット拡張とモデル再トレーニングパイプラインにより、長期的な適応性を確保する。

提案手法

• Android の Dalvik バイトコード命令を Inst2Vec を用いて密なベクトル表現に埋め込むことで、意味的・構文的パターンを捉える。
• Inst2Vec 特徴量に 1D 畳み込みニューラルネットワーク（CNN）のアンサンブルを適用し、アプリをマルウェアまたは良性として高信頼度で分類する。
• 深層自己符号化器が学習した特徴量の要約を用いて DBScan クラスタリングを実行し、類似したマルウェアサンプルを同じファミリにグループ化する。
• トレーニング中に断片ベースのランダム化を導入し、メソッドレベルの順序を保ったまま、Dalvik 指令のマクロアクションをシャッフルすることで、変種化攻撃に対する耐性を強化する。
• 高信頼度の検出サンプル（マルウェアおよび良性）を時間経過とともに収集し、トレーニングデータセットを拡張するとともに、CNN アンサンブルを定期的に再トレーニングする自動適応メカニズムを実装する。
• オンライン学習ではなくバッチ学習を採用することで、データ順序によるバイアスを低減し、モデルの汎化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 手動による特徴量設計なしに、大規模な Android マルウェアに対して高い検出精度と頑健なファミリクラスタリングを達成できるか？
• RQ2 提案された自信に基づく自動適応メカニズムは、新しい Android API やマルウェアバージョンが登場する中で、検出性能を長期間にわたり維持できるか？
• RQ3 トレーニング時にコード断片をランダム化することで、静的解析における一般的な変種化技術（例：命令再配置、API 変更）に対する耐性がどの程度向上するか？
• RQ4 マダミドライドやマルドーザーといった最先端のソリューションと比較して、提案フレームワークの性能は多様な評価設定においてどのように差をつけるか？
• RQ5 事前にファミリラベルが与えられていない状態でも、高いクラスタ均質性を維持しながら、教師なしのマルウェアファミリ帰属を可能にするか？

主な発見

• PetaDroid は複数の評価設定において 98–99% の F1 スコアを達成し、高い精度と頑健性を示した。
• マルウェアファミリクラスタリングにおいて 96% の均質性を達成し、類似したマルウェアサンプルが一貫したファミリにグループ化されたことを示した。
• PetaDroid は、評価されたすべての設定において、最先端のシステムである MaMaDroid および MalDozer を上回る検出効果と効率性を示した。
• 自信に基づく自動適応メカニズムは、新しいサンプルを自動でデータセットに追加し、手動による介入なしに継続的なモデル改善を可能にした。
• トレーニング時のコード断片ランダム化により、命令再配置や API 変更といった一般的な変種化技術に対する耐性が顕著に向上した。
• 本フレームワークはスケーラビリティを示し、1000万件以上のサンプル（100TB を超えるデータ量）を効果的に処理でき、実世界のアプリマーケットへの導入に適している。