[论文解读] Continuous, Evolutionary and Large-Scale: A New Perspective for Automated Mobile App Testing

Mario Linares Vasquez, Kevin Moran+1 more|arXiv (Cornell University)|Jan 19, 2018

Green IT and Sustainability参考文献 42被引用 16

一句话总结

本文提出了一种基于三大核心原则——持续性（Continuous）、演化性（Evolutionary）和大规模性（Large-scale）——的自动化移动应用测试新范式（CEL）。该研究提出了一套研究议程，旨在构建一个完全自动化的测试框架，通过整合代码仓库挖掘、用户评论和执行轨迹数据，以解决当前工具在自动化测试中普遍存在的关键局限性，如缺乏自动化测试判断依据（oracle）、测试用例演化能力不足以及可扩展性差等问题，从而实现在真实开发工作流中实用、可扩展且自适应的自动化测试。

ABSTRACT

Mobile app development involves a unique set of challenges including device fragmentation and rapidly evolving platforms, making testing a difficult task. The design space for a comprehensive mobile testing strategy includes features, inputs, potential contextual app states, and large combinations of devices and underlying platforms. Therefore, automated testing is an essential activity of the development process. However, current state of the art of automated testing tools for mobile apps poses limitations that has driven a preference for manual testing in practice. As of today, there is no comprehensive automated solution for mobile testing that overcomes fundamental issues such as automated oracles, history awareness in test cases, or automated evolution of test cases. In this perspective paper we survey the current state of the art in terms of the frameworks, tools, and services available to developers to aid in mobile testing, highlighting present shortcomings. Next, we provide commentary on current key challenges that restrict the possibility of a comprehensive, effective, and practical automated testing solution. Finally, we offer our vision of a comprehensive mobile app testing framework, complete with research agenda, that is succinctly summarized along three principles: Continuous, Evolutionary and Large-scale (CEL).

研究动机与目标

• 解决由于设备碎片化、平台持续演进以及缺乏有效自动化手段所导致的手动测试与自动化测试之间的长期脱节问题。
• 克服当前自动化测试工具的根本性局限，包括自动化测试判断依据不足、测试用例演化能力差以及可扩展性有限等问题。
• 实现实用、全面的自动化测试，支持真实世界移动开发中的敏捷开发与持续集成工作流。
• 整合多样化的数据源——软件仓库、用户评论和运行时执行轨迹——以指导并增强测试用例的生成与反馈。
• 制定一项研究议程，引导社区共同构建一个完全自动化、可扩展且可维护的移动测试生态系统。

提出的方法

• 提出基于三大原则的CEL测试框架：持续性（集成至CI/CD流程）、演化性（自动适应测试用例）和大规模性（支持海量设备与平台多样性）。
• 设计一种平台架构，用于收集尊重隐私的执行轨迹与日志，以推导出使用模型和测试输入。
• 利用混合GUI表示法（图像与文本）及平台特定的故障模型，开发可扩展且精确的自动化测试判断依据。
• 通过对软件仓库进行静态与动态分析，提取历史开发模式，并优先安排测试任务。
• 挖掘用户评论以识别重复出现的问题，并生成针对性的测试用例或基于真实用户报告的错误信息来优先安排回归测试。
• 整合人机交互（HCI）领域的先进可视化与反馈机制，向开发者提供可操作且上下文丰富的测试结果。

实验结果

研究问题

• RQ1 如何在不同类型的移动应用和平台之间，实现可扩展、精确且可适应的自动化测试判断依据？
• RQ2 哪些机制能够支持在应用更新和用户行为变化背景下，实现持续且演化的测试用例维护？
• RQ3 如何有效挖掘并整合来自软件仓库和用户评论的数据，以支持自动化测试用例的生成与优先级排序？
• RQ4 为支持大规模、设备无关且保护隐私的测试执行与分析，需要哪些架构组件？
• RQ5 如何以对开发者具有可操作性且上下文相关的方式呈现自动化测试的反馈？

主要发现

• 当前的自动化测试工具由于在自动化测试判断依据、测试演化和可扩展性方面的问题尚未解决，无法提供完全自动化的体验。
• 现有解决方案通常依赖于简单的测试判断依据，如屏幕旋转或图像比较，缺乏精度与全面性。
• 挖掘软件仓库和用户评论具有未被充分开发的潜力，可用于识别高影响的测试用例并优先安排回归测试。
• 目前严重缺乏能够向开发者提供可操作、可视化反馈的工具，限制了自动化测试在实际中的采纳。
• 一个统一的平台，整合执行轨迹、代码历史和用户反馈，是实现大规模、自适应测试的关键。
• 所提出的CEL框架提供了一个结构化的研究议程，包含六个关键主题，可引导未来工作迈向完全自动化、实用化的移动测试生态系统。