[论文解读] DroidBugs: An Android Benchmark for Automatic Program Repair.

Larissa Azevedo, Altino Dantas+1 more|arXiv (Cornell University)|Sep 19, 2018

Software Testing and Debugging Techniques参考文献 7被引用 4

一句话总结

DroidBugs 是一个新颖的 Android 基准测试，包含来自 5 个开源 Android 应用的 13 个单个缺陷，每个应用下载量均超过 5,000 次，旨在评估移动环境下的自动化程序修复（APR）技术。通过使用 Astor4Android 和两种故障定位策略，本研究展示了检测和修复移动特定缺陷的挑战，强调了开发面向移动优化的 APR 工具的必要性。

ABSTRACT

Automated Program Repair (APR) is an emerging research field. Many APR techniques, for different programming language and platforms, have been proposed and evaluated on several Benchmarks. However, for our best knowledge, there not exists a well-defined benchmark based on mobile projects, consequently, there is a gap to leverage APR methods for mobile development. Therefore, regarding the amount of Android Applications around the world, we present DroidBugs, an introductory benchmark based on the analyzes of 360 open projects for Android, each of them with more than 5,000 downloads. From five applications, DroidBugs contains 13 single-bugs classified by the type of test that exposed them. By using an APR tool, called Astor4Android, and two common Fault Localization strategy, it was observed how challenging is to find and fix mobile bugs.

研究动机与目标

• 解决缺乏标准化基准测试以评估 Android 应用中自动化程序修复（APR）技术的问题。
• 识别并分类流行、生产级别的 Android 项目中的真实世界缺陷，以支持 APR 研究。
• 评估将现有 APR 工具和故障定位策略应用于移动软件的可行性和难度。
• 通过提供一个定义明确、可复现的基准测试，为移动特定程序修复的未来研究奠定基础。

提出的方法

• 分析了 360 个下载量超过 5,000 次的开源 Android 项目，以识别基准测试的候选应用。
• 基于流行度和代码库稳定性，从这些项目中选取了五个代表性 Android 应用纳入 DroidBugs。
• 在选定的应用中识别并分类了 13 个独立缺陷，按揭示每个缺陷的测试类型进行分类。
• 应用 Astor4Android 工具，为识别出的缺陷自动生成补丁。
• 采用两种常见的故障定位策略，以指导修复过程并评估故障定位的精确度。
• 使用真实世界代码库和实际缺陷，评估 APR 技术在移动应用上下文中的有效性。

实验结果

研究问题

• RQ1 现有 APR 技术在检测和修复真实世界 Android 应用中的缺陷方面效果如何？
• RQ2 使用标准故障定位策略在 Android 应用中定位和修复缺陷的难度如何？
• RQ3 当前的 APR 工具（如 Astor4Android）在为移动特定缺陷成功生成正确补丁方面的程度如何？
• RQ4 从真实世界 Android 开发复杂性的角度来看，所识别的缺陷在代表性和挑战性方面如何？

主要发现

• 该基准测试包含 13 个从五个热门 Android 应用中提取的、定义明确的单缺陷实例，每个应用下载量均超过 5,000 次。
• 将 Astor4Android 应用于 DroidBugs 基准测试揭示了在生成正确补丁方面存在显著挑战，表明移动特定修复的难度。
• 应用了两种故障定位策略，但其在精确定位 Android 项目中故障代码方面的能力有限，凸显了移动代码库的复杂性。
• 结果表明，当前的 APR 技术在应用于真实 Android 项目时面临重大障碍，强调了开发面向移动优化的修复方法的必要性。
• 该研究证实，现有基准测试不足以评估移动上下文中的 APR，验证了 DroidBugs 作为针对性解决方案的必要性。
• 该基准测试设计为可扩展且可复现，支持未来在 Android 平台上对 APR 工具进行评估和比较。