[論文レビュー] Android Malware Clustering using Community Detection on Android Packages Similarity Network

ElMouatez Billah Karbab, Mourad Debbabi+2 more|arXiv (Cornell University)|May 12, 2020

Advanced Malware Detection Techniques参考文献 82被引用数 4

ひとこと要約

本論文では、APKの特徴から類似性ネットワークを構築し、コミュニティ検出を適用することで、スケーラブルで教師なしのAndroidマルウェアクラスタリングおよびフィンガープrintフレームワークCypiderを提案する。マルウェアコミュニティの検出において60–80%のカバレッジと85–99%の精度を達成し、コミュニティのフィンガープリントはマルウェアファミリーと健全なアプリの識別において86–94%の正確さを示す。

ABSTRACT

The daily amount of Android malicious applications (apps) targeting the app repositories is increasing, and their number is overwhelming the process of fingerprinting. To address this issue, we propose an enhanced Cypider framework, a set of techniques and tools aiming to perform a systematic detection of mobile malware by building a scalable and obfuscation resilient similarity network infrastructure of malicious apps. Our approach is based on our proposed concept, namely malicious community, in which we consider malicious instances that share common features are the most likely part of the same malware family. Using this concept, we presumably assume that multiple similar Android apps with different authors are most likely to be malicious. Specifically, Cypider leverages this assumption for the detection of variants of known malware families and zero-day malicious apps. Cypider applies community detection algorithms on the similarity network, which extracts sub-graphs considered as suspicious and possibly malicious communities. Furthermore, we propose a novel fingerprinting technique, namely community fingerprint, based on a one-class machine learning model for each malicious community. Besides, we proposed an enhanced Cypider framework, which requires less memory, x650, and less time to build the similarity network, x700, compared to the original version, without affecting the fingerprinting performance of the framework. We introduce a systematic approach to locate the best threshold on different feature content vectors, which simplifies the overall detection process.

研究の動機と目的

• 毎日10,000個以上の新しい悪意あるアプリが流入する中で、Androidマルウェア分析のスケーラビリティの向上に取り組む。
• 変形やゼロデイマルウェアに対して失敗する、手動分析やシグネチャベース検出に依存するのを減らす。
• 既知のマルウェアバージョンおよびこれまでにない（ゼロデイ）マルウェアファミリーの自動検出を可能にする。
• 検出精度を損なわずに大規模データセットにスケーリング可能な、軽量で効率的なフレームワークを開発する。
• 一クラス機械学習に基づく新しいコミュニティフィンガープリント技術を導入し、マルウェアファミリー同定を向上させる。

提案手法

• 各Androidアプリを特徴ベクトルとして表現し、任意の特徴で高い類似性を示すアプリ同士を接続することで、類似性ネットワークを構築する。
• コミュニティ検出アルゴリズムを適用して密に接続された部分グラフ（潜在的な悪意あるコミュニティ）を抽出する。
• 「悪意あるコミュニティ」という概念を導入する——共通の特徴、特にコードやコンponentsを共有するアプリは、同じマルウェアファミリーに属している可能性が高い。
• 検出された各コミュニティごとに訓練された一クラス機械学習モデルを用いて、効率的なマルウェアファミリー同定のためのコミュニティフィンガープリントを開発する。
• メモリおよび時間効率を最適化し、類似性ネットワーク構築時間を元のバージョンと比較して約700倍短縮し、メモリ使用量を約650%削減する。
• 異なる特徴ベクトルにおいて最適な類似度閾値を体系的に特定し、検出精度の向上と簡素化を図る。

実験結果

リサーチクエスチョン

• RQ1 Android APKの類似性ネットワーク上でコミュニティ検出を適用することで、マルウェアの変種やゼロデイマルウェアを含むクラスタの同定が有効に行えるか？
• RQ2 提案されたCypiderフレームワークは、既存の類似性ベースのマルウェア検出手法と比較して、効率性と正確さにおいて優れているか？
• RQ3 一クラス学習モデルに基づくコミュニティフィンガープリントは、既知のマルウェアファミリーをどれほど正確に検出でき、健全なアプリと区別できるか？
• RQ4 異なる特徴ベクトルにおいて、検出カバレッジと正確さを最大化するための最適な類似度閾値は何か？
• RQ5 110kアプリのような大規模データセットに対しても、高いパフォーマンスと低リソース消費量を維持しながらスケーラブルか？

主な発見

• Cypiderは1回の検出イテレーションでマルウェアデータセットの60–80%をカバーし、同定された悪意あるコミュニティの正確さは85–99%である。
• フレームワークは、フィンガープリント性能に影響を与えることなく、類似性ネットワーク構築時間を約700倍短縮し、メモリ使用量を約650%削減した。
• コミュニティフィンガープリントは、マルウェアファミリーの検出で86%、一般のマルウェアで93%、健全なアプリで94%の正確さを達成した。
• 体系的な閾値選定プロセスにより、検出が簡素化され、異なる特徴セット間での一貫性が向上した。
• リパッケージドマルウェアおよびゼロデイ脅威の両方を、多様なAPK特徴にわたる高類似度クラスタの検出によって効果的に同定できた。
• 11万アプリのデータセットを用いた評価では、コミュニティ検出が約60秒で完了し、高いスケーラビリティを示した。