[论文解读] AndroZoo++: Collecting Millions of Android Apps and Their Metadata for the Research Community

Li Li, Jun Gao+6 more|arXiv (Cornell University)|Sep 15, 2017

Advanced Malware Detection Techniques参考文献 22被引用 69

一句话总结

AndroZoo++ 构建一个增长中的、最新的数百万 Android 应用程序的仓库，附带广泛元数据，以支持可扩展、可重复的 Android 研究。

ABSTRACT

We present a growing collection of Android apps collected from several sources, including the official Google Play app market and a growing collection of various metadata of those collected apps aiming at facilitating the Android-relevant research works. Our dataset by far has collected over five million apps and over 20 types of metadata such as VirusTotal reports. Our objective of collecting this dataset is to contribute to ongoing research efforts, as well as to enable new potential research topics on Android Apps. By releasing our app and metadata set to the research community, we also aim at encouraging our fellow researchers to engage in reproducible experiments. This article will be continuously updated based on the growing apps and metadata collected in the AndroZoo project. If you have specific metadata that you want to collect from AndroZoo and which are not yet provided by far, please let us know. We will thereby prioritise it in our collecting process so as to provide it to our fellow researchers in a short manner.

研究动机与目标

• 提供来自多个市场的大型、最新的 Android 应用集合用于研究用途。
• 提供广泛的元数据，帮助研究人员预选相关应用并降低下载成本。
• 通过与研究社区共享应用和元数据，促进可重复的实验。
• 支持包括安全性、演化和恶意软件分析在内的多样化研究主题。
• 通过收集对额外元数据需求的反馈，鼓励社区驱动的改进。

提出的方法

• 开发专用爬虫，从多个市场收集 Android 应用，同时尽量减少对市场基础设施的负载。
• 在归档 APK 之前，实施市场特定的去重（在每个市场内本地去重）并计算 SHA256 校验和。
• 为每个 APK 附加丰富的元数据，包括哈希、大小、市场来源、清单派生字段以及安全报告。
• 计算并发布来自清单、DEX 以及发布信息的元数据产物，以实现预选与分析，而无需完整下载。
• 收集安全相关报告（VirusTotal、AndroBugs）及其他高级元数据（搭载对、库、应用家族等）以帮助安全与演化研究。
• 提供研究人员请求额外元数据的机制，以便未来的收集优先级可由用户需求引导。

实验结果

研究问题

• RQ1 如何从多样化市场构建一个大型、最新的 Android 应用集合，同时尽量减少对市场基础设施的影响？
• RQ2 除 APK 文件外，哪些元数据最能支持对 Android 应用进行预选、过滤和可重复分析？
• RQ3 如何让所收集的数据能够在规模上支持代码分析、演化和恶意软件聚焦的研究？
• RQ4 使用这样的数据集可以获得哪些关于应用家族、搭载关系和常见库的见解？

主要发现

• 数据集现已增长到超过五百万应用，迄今收集了超过 20 种元数据类型。
• 元数据目录包括 APK、清单、DEX、发布信息、安全报告等共 24 项。
• 安全分析通过为所含应用生成的 VirusTotal 报告和 AndroBugs 报告得到促进。
• 数据集使得对应用家族和家族变体的探索成为可能，拥有成千上万的家族和多版本历史。
• 搭载对、常用/广告库，以及应用家族数据为恶意软件、重新打包和进化研究提供洞见。
• AndroZoo 项目强调可重复性和社区参与，通过提供数据并征求研究人员的元数据请求。