[論文レビュー] AndroVault: Constructing Knowledge Graph from Millions of Android Apps for Automated Analysis

Guozhu Meng, Yinxing Xue+4 more|arXiv (Cornell University)|Nov 20, 2017

Advanced Malware Detection Techniques参考文献 36被引用数 16

ひとこと要約

AndroVaultは、静的および動的解析を統合して36のアプリ属性を抽出し、意味的関係を推論することで、数百万のAndroidアプリから大規模な知識グラフを構築するスケーラブルなフレームワークです。論理的推論と機械学習を活用してグラフから再利用可能な事実を抽出することで、マルウェア検出、アプリテスト、脆弱性分析などの研究タスクにおける自動的で高精度なデータクリーニングを実現します。

ABSTRACT

Data driven research on Android has gained a great momentum these years. The abundance of data facilitates knowledge learning, however, also increases the difficulty of data preprocessing. Therefore, it is non-trivial to prepare a demanding and accurate set of data for research. In this work, we put forward AndroVault, a framework for the Android research composing of data collection, knowledge representation and knowledge extraction. It has started with a long-running web crawler for data collection (both apps and description) since 2013, which guarantees the timeliness of data; With static analysis and dynamic analysis of the collected data, we compute a variety of attributes to characterize Android apps. After that, we employ a knowledge graph to connect all these apps by computing their correlation in terms of attributes; Last, we leverage multiple technologies such as logical inference, machine learning, and correlation analysis to extract facts (more accurate and demanding, either high level or not, data) that are beneficial for a specific research problem. With the produced data of high quality, we have successfully conducted many research works including malware detection, code generation, and Android testing. We would like to release our data to the research community in an authenticated manner, and encourage them to conduct productive research.

研究の動機と目的

• 大規模な研究を対象とした、高品質で最新かつ代表的なAndroidアプリデータセットを取得する課題に対処する。
• 数百万のアプリにわたる特徴抽出と相関モデリングを自動化することで、データ前処理の負担を軽減する。
• 知識グラフの構築により、生のアプリデータを構造的で意味的に豊富な事実に変換することで、効率的かつ正確な研究を可能にする。
• マルウェア検出、アプリテスト、脆弱性分析などの多様な研究タスクを支援するため、キュレートされた高精度なデータサブセットを提供する。
• 新しいアプリコレクション、属性、分析能力に応じて進化する、継続的に拡張可能なデータインfraストラクチャを確立する。

提案手法

• 2013年から継続的に稼働するウェブクローラーを導入し、多様なソースからAndroidアプリおよびそのメタデータを収集することで、データの最新性を確保する。
• 静的および動的解析を適用して、アプリの動作、パーミッション、コード構造、通信パターンを特徴付ける36種類の多様な属性を計算する。
• 属性の類似性と推論された関係（例：インテントベースのアプリ間通信）に基づいてアプリをリンクすることで、包括的な知識グラフを構築する。
• 論理的推論、機械学習、相関分析を活用して、グラフから上位レベルの事実（例：ピッグバックイングや共謀的攻撃の兆候）を抽出する。
• 知識グラフを活用してデータ発見とフィルタリングを高速化し、研究者が特定のタスクに適した小規模で関連性が高く正確なデータセットを容易に抽出できるようにする。
• 研究ニーズの変化に応じて、新しい属性、関係、動的実行トレースを追加することで、システムを継続的に拡張する。

実験結果

リサーチクエスチョン

• RQ1 数百万のAndroidアプリから、継続的に更新される大規模な知識グラフをどのように構築できるか？
• RQ2 マルウェア検出および分析の正確性と効率性を向上させるために、自動的に抽出可能なアプリ間の属性と関係は何か？
• RQ3 論理的推論と機械学習を用いることで、アプリのメタデータおよび動作から、上位レベルで再利用可能な事実（例：ピッグバックイングや共謀的攻撃）をどの程度抽出できるか？
• RQ4 静的、動的、意味的解析の統合は、従来のデータ収集手法と比較して、データ品質と研究生産性をどの程度向上させるか？
• RQ5 知識グラフフレームワークは、脆弱性検出や自動エクスプロイト生成といった新たな研究分野をサポートするために拡張可能か？

主な発見

• 2013年以降、AndroVaultは500万件を超えるAndroidアプリを収集・処理しており、継続的なデータインジェストと属性計算が行われている。
• このフレームワークは、1アプリあたり36種類の多様な属性を効果的に抽出し、アプリの動作、パーミッション、通信の詳細な特徴付けを可能にした。
• 意味的関係を含む知識グラフを構築することで、ピッグバックイングや共謀的攻撃に関与するアプリの関連検索が効率的に行えるようになった。
• マルウェア検出、Androidアプリテスト、脆弱性検出といった複数の研究プロジェクトを支援しており、実世界の研究における実用性を実証した。
• 研究者が数百万のアプリから、最小限の手動前処理で小規模で高品質なデータセット（例：ピッグバックイング分析用）を抽出できる。
• フレームワークは拡張可能で、継続的かつ進化を遂げており、動的実行トレース、ネイティブコード解析、アプリの説明と動作の意味的整合性チェックの統合を計画している。