[论文解读] GIFdroid: Automated Replay of Visual Bug Reports for Android Apps

Sidong Feng, Chunyang Chen|arXiv (Cornell University)|Dec 8, 2021

Advanced Malware Detection Techniques被引用 4

一句话总结

GIFdroid 是一种轻量级、基于图像处理的工具，通过从 GIF 录制中提取关键帧，将它们映射到 UI 转换图（UTG）中的 GUI 状态，并重建完整的执行轨迹，从而自动重放 Android 应用中的视觉错误报告。该工具在 61 个真实世界视频错误报告中成功重现了 82%，显著减少了开发人员的手动调试工作量。

ABSTRACT

Bug reports are vital for software maintenance that allow users to inform developers of the problems encountered while using software. However, it is difficult for non-technical users to write clear descriptions about the bug occurrence. Therefore, more and more users begin to record the screen for reporting bugs as it is easy to be created and contains detailed procedures triggering the bug. But it is still tedious and time-consuming for developers to reproduce the bug due to the length and unclear actions within the recording. To overcome these issues, we propose GIFdroid, a light-weight approach to automatically replay the execution trace from visual bug reports. GIFdroid adopts image processing techniques to extract the keyframes from the recording, map them to states in GUI Transitions Graph, and generate the execution trace of those states to trigger the bug. Our automated experiments and user study demonstrate its accuracy, efficiency, and usefulness of the approach.

研究动机与目标

• 为解决开发人员手动重现 Android 应用中视觉录制错误的挑战，这些过程耗时且易出错。
• 通过自动化执行轨迹重建过程，减少开发人员解释和重放基于视频的错误报告所需的工作量。
• 实现在无需应用仪器化或框架集成的情况下，直接从用户生成的 GIF 录制中自动化、高效且准确地重放错误。
• 评估一种轻量级、基于图像处理的方法在真实世界 Android 应用中重放视觉错误报告的可行性和实用性。

提出的方法

• 通过比较帧之间的相似性，从视频录制中提取关键帧，以识别完全渲染的 GUI 状态。
• 使用基于像素和结构的图像相似性度量，将提取的关键帧映射到应用现有 UI 转换图（UTG）中的对应 GUI 状态。
• 通过自动补全缺失步骤并结合映射序列与图遍历，从应用启动到触发错误的状态重建完整的执行轨迹。
• 应用一种新颖的算法处理有缺陷或不完整的映射，确保在缺少或模糊帧的情况下仍能稳健生成轨迹。
• 利用公开可获取的 Android 应用 UTG 和预处理的视觉数据，实现在无需运行时仪器化的情况下高效后台执行。
• 将该方法集成到一个完全自动化的流水线中，处理用户上传的 GIF 文件，并输出可用于重现的可执行测试轨迹。

实验结果

研究问题

• RQ1 轻量级、基于图像处理的方法能否准确地将用户生成的 GIF 录制中的关键帧映射到 Android 应用 UI 转换图中的 GUI 状态？
• RQ2 当视频录制未从应用启动开始时，所提出的方法在多大程度上能够重建完整且可执行的执行轨迹？
• RQ3 与现有基线方法相比，该自动化重放方法在重现真实世界视觉错误报告方面的有效性如何？
• RQ4 在真实世界的调试场景中，开发人员感知到该工具在实践中的实用性如何？

主要发现

• 在 31 个 Android 应用的 61 个真实世界视觉错误报告中，GIFdroid 在自动化评估中成功重现了 82%（50 个）。
• 关键帧提取组件通过基于相似性比较检测帧稳定性，在识别完全渲染的 GUI 状态方面表现出高准确性。
• GUI 映射模块在将关键帧匹配到 UTG 状态方面优于基线方法，对视觉噪声和微小 UI 变化具有更强的鲁棒性。
• 轨迹生成算法有效重建了缺失的错误前步骤，即使录制从错误发生前 2 至 7 步开始，也能实现完整重放。
• 用户研究证实了该工具在真实场景中的实用性，开发人员报告称，使用该工具显著减少了重现视觉错误报告的时间和精力。
• 该方法在不同应用和录制条件下（包括低分辨率和非仪器化录制）均表现出良好的泛化能力。