[论文解读] AndroVault: Constructing Knowledge Graph from Millions of Android Apps for Automated Analysis

Guozhu Meng, Yinxing Xue+4 more|arXiv (Cornell University)|Nov 20, 2017

Advanced Malware Detection Techniques参考文献 36被引用 16

一句话总结

AndroVault 是一个可扩展的框架，通过整合静态分析与动态分析，从数百万个 Android 应用中构建大规模知识图谱，以提取 36 个应用属性并推断语义关系。它通过逻辑推理和机器学习从图谱中提取可重用的事实，实现自动化、高精度的数据整理，支持恶意软件检测、应用测试和漏洞分析等研究任务。

ABSTRACT

Data driven research on Android has gained a great momentum these years. The abundance of data facilitates knowledge learning, however, also increases the difficulty of data preprocessing. Therefore, it is non-trivial to prepare a demanding and accurate set of data for research. In this work, we put forward AndroVault, a framework for the Android research composing of data collection, knowledge representation and knowledge extraction. It has started with a long-running web crawler for data collection (both apps and description) since 2013, which guarantees the timeliness of data; With static analysis and dynamic analysis of the collected data, we compute a variety of attributes to characterize Android apps. After that, we employ a knowledge graph to connect all these apps by computing their correlation in terms of attributes; Last, we leverage multiple technologies such as logical inference, machine learning, and correlation analysis to extract facts (more accurate and demanding, either high level or not, data) that are beneficial for a specific research problem. With the produced data of high quality, we have successfully conducted many research works including malware detection, code generation, and Android testing. We would like to release our data to the research community in an authenticated manner, and encourage them to conduct productive research.

研究动机与目标

• 解决为大规模研究获取高质量、最新且具有代表性的 Android 应用数据集的挑战。
• 通过自动化特征提取与跨数百万个应用的相关性建模，减轻数据预处理负担。
• 通过知识图谱构建将原始应用数据转化为结构化、语义增强的事实，实现高效且准确的研究。
• 通过提供经过整理、高保真度的数据子集，支持多样化的研究任务，如恶意软件检测、应用测试和漏洞分析。
• 建立一个可持续扩展的数据基础设施，随新应用集合、属性和分析能力的增加而持续演进。

提出的方法

• 自 2013 年起持续运行网络爬虫，从多样化来源收集 Android 应用及其元数据，确保数据的时效性。
• 应用静态与动态分析，计算描述应用行为、权限、代码结构和通信模式的 36 种多样化属性。
• 通过基于属性相似性的关联与推断关系（如基于意图的跨应用通信）构建全面的知识图谱。
• 采用逻辑推理、机器学习与相关性分析，从图谱中提取更高阶的事实（如搭便车攻击或共谋攻击指标）。
• 利用知识图谱加速数据发现与过滤，使研究人员能够为特定任务提取小型、相关且准确的数据集。
• 通过持续添加新属性、关系与动态执行追踪，扩展系统以支持不断演变的研究需求。

实验结果

研究问题

• RQ1 如何从数百万个 Android 应用中构建一个大规模、持续更新的知识图谱，以支持自动化研究？
• RQ2 哪些应用属性与关系可被自动提取，以提升恶意软件检测与分析的准确性与效率？
• RQ3 逻辑推理与机器学习在多大程度上可从应用元数据与行为中提取高层级、可重用的事实（如搭便车攻击或共谋攻击）？
• RQ4 与传统数据收集方法相比，静态分析、动态分析与语义分析的集成在多大程度上提升了数据质量与研究生产力？
• RQ5 该知识图谱框架能否扩展以支持新兴研究领域，如漏洞检测与自动化利用生成？

主要发现

• 自 2013 年以来，AndroVault 已收集并处理超过五百万个 Android 应用，实现持续的数据摄入与属性计算。
• 该框架成功为每个应用提取了 36 种多样化属性，实现了对应用行为、权限与通信的细粒度表征。
• 通过构建包含语义关系的知识图谱，AndroVault 实现了对相关应用（如涉及搭便车或共谋攻击的应用）的高效发现。
• 该系统已支持多个研究项目，包括恶意软件检测、Android 应用测试与漏洞检测，证明了其在真实研究中的实用性。
• AndroVault 使研究人员能够从数百万个应用中以极少的手动预处理，提取小型、高质量的数据集（如用于搭便车分析）。
• 该框架具备可扩展性且持续演进，计划整合动态执行追踪、原生代码分析与应用描述与行为之间的语义一致性检查。