[论文解读] Automated Test Input Generation for Android: Are We There Yet?

Shauvik Roy Choudhary, Alessandra Gorla+1 more|arXiv (Cornell University)|Mar 24, 2015

Advanced Malware Detection Techniques参考文献 24被引用 36

一句话总结

本文通过一项全面的实证研究，评估了12种主流的Android应用自动化测试输入生成工具，衡量其代码覆盖率、故障检测能力、跨平台兼容性以及易用性。研究发现，尽管各类工具在有效性方面存在显著差异，但均不支持可重现的测试用例或适当的模拟（mocking），凸显了未来研究在提升测试工具可靠性与开发者易用性方面的关键空白。

ABSTRACT

Mobile applications, often simply called "apps", are increasingly widespread, and we use them daily to perform a number of activities. Like all software, apps must be adequately tested to gain confidence that they behave correctly. Therefore, in recent years, researchers and practitioners alike have begun to investigate ways to automate apps testing. In particular, because of Android's open source nature and its large share of the market, a great deal of research has been performed on input generation techniques for apps that run on the Android operating systems. At this point in time, there are in fact a number of such techniques in the literature, which differ in the way they generate inputs, the strategy they use to explore the behavior of the app under test, and the specific heuristics they use. To better understand the strengths and weaknesses of these existing approaches, and get general insight on ways they could be made more effective, in this paper we perform a thorough comparison of the main existing test input generation tools for Android. In our comparison, we evaluate the effectiveness of these tools, and their corresponding techniques, according to four metrics: code coverage, ability to detect faults, ability to work on multiple platforms, and ease of use. Our results provide a clear picture of the state of the art in input generation for Android apps and identify future research directions that, if suitably investigated, could lead to more effective and efficient testing tools for Android.

研究动机与目标

• 评估现有自动化测试输入生成工具在Android应用上的有效性，涵盖代码覆盖率、故障检测、平台兼容性及易用性等关键指标。
• 识别当前自动化测试Android应用技术在优势与劣势方面的情况。
• 为改进测试输入生成工具提供可操作的见解，尤其在可重现性、调试支持以及环境依赖处理方面。
• 通过突出缺少的功能（如模拟、沙箱环境、跨设备测试能力）来指导未来研究。
• 通过公开发布所有实验数据和基础设施，支持本研究的复现与扩展。

提出的方法

• 本研究在60多个真实世界的Android应用上评估了12种具有代表性的测试输入生成工具。
• 使用自定义的插桩框架测量代码覆盖率，以跟踪测试执行期间的语句和分支覆盖率。
• 通过记录未捕获的运行时异常，并结合人工与自动化检查验证其是否为真实故障，来评估故障检测能力。
• 通过在多个Android框架版本（如4.1、4.4、5.0）上运行工具，评估其跨平台兼容性。
• 基于安装复杂度、配置需求以及运行每个工具所需的手动工作量，评估其易用性。
• 评估过程中对故障报告和堆栈跟踪进行了人工检查，以区分真实故障与模拟器或工具本身的限制。

实验结果

研究问题

• RQ1 在多样化的实际Android应用中，现有自动化测试输入生成工具在代码覆盖率方面表现如何？
• RQ2 这些工具在多大程度上能够检测到真实故障？其报告的故障可靠性如何？
• RQ3 这些工具在支持多个Android平台版本方面表现如何？这对跨版本测试有何影响？
• RQ4 在实际开发工作流中部署这些工具时，面临哪些实际的可用性挑战？
• RQ5 当前工具缺少哪些关键功能，这些功能若存在将显著提升其有效性与开发者采纳率？

主要发现

• 无任何工具支持可重现的测试用例；故障仅通过日志文件报告，缺乏可执行的测试脚本，严重限制了调试与复现能力。
• 大多数工具缺乏适当的沙箱机制，存在意外副作用的风险，例如在测试过程中发送真实邮件或修改用户数据。
• 目前无任何工具专门设计用于跨设备或跨配置测试，尽管Android的碎片化问题广为人知。
• 手动提供输入（如登录凭据）的能力仅在少数工具中实现，如Dynodroid和GUIRipper，这显著提升了对复杂UI状态的探索能力。
• 由于缺乏对内容提供者和系统服务的模拟支持，覆盖率提升受到阻碍，这对K-9 Mail等应用尤其关键。
• 尽管某些情况下代码覆盖率较高，但故障检测仍不稳定，许多报告的异常很可能是由模拟器限制引起，而非应用本身的真正缺陷。