[论文解读] Harvesting Fix Hints in the History of Bugs

Tegawendé F. Bissyandé|arXiv (Cornell University)|Jul 21, 2015

Hemiptera Insect Studies参考文献 20被引用 7

一句话总结

本文提出 RECOMMEND，一种基于历史错误报告及其修复方案的错误修复建议系统，可为新错误提供可操作的修复提示。通过结合信息检索、错误关联与语义补丁推断，该方法在使用LDA主题模型与SVM分类器对错误报告进行分类时，实现了83%的精确率与74%的召回率，证明了其在加速软件调试方面的可行性。

ABSTRACT

In software development, fixing bugs is an important task that is time consuming and cost-sensitive. While many approaches have been proposed to automatically detect and patch software code, the strategies are limited to a set of identified bugs that were thoroughly studied to define their properties. They thus manage to cover a niche of faults such as infinite loops. We build on the assumption that bugs, and the associated user bug reports, are repetitive and propose a new approach of fix recommendations based on the history of bugs and their associated fixes. In our approach, once a bug is reported, it is automatically compared to all previously fixed bugs using information retrieval techniques and machine learning classification. Based on this comparison, we recommend top-{\em k} fix actions, identified from past fix examples, that may be suitable as hints for software developers to address the new bug.

研究动机与目标

• 通过基于过往错误修复方案的可操作修复提示推荐，减少修复时间并提升软件维护效率。
• 应对每年数以千计错误报告导致的开发者在错误分类与修复过程中工作量过大的挑战。
• 通过复用以往已解决错误中的模式，提升修复率，尤其在测试覆盖率有限的项目中更具优势。
• 为开发者提供通用且语义明确的修复提示，突出关键代码变更与可复用的模式。
• 探索利用错误报告历史作为知识库，实现自动化修复建议的可行性。

提出的方法

• 采用信息检索技术，利用基于LDA的主题建模方法，将新错误报告与历史报告进行比较。
• 通过启发式错误关联方法（如提交日志中的'Bug #'）将过往错误报告与其对应修复方案关联。
• 利用spdiff工具进行语义补丁推断，从具体代码补丁中提取重复出现的修复模式。
• 基于LDA编码的错误报告特征训练SVM分类器，以预测错误类别并推荐相似的过往修复方案。
• 将修复操作总结为通用提示，将可复用的逻辑（如检查kmalloc返回值）与上下文相关元素分离。
• 将修复建议集成至一个原型系统（RECOMMEND）中，并在真实项目中进行评估。

实验结果

研究问题

• RQ1 历史错误报告及其修复方案能否被有效用于为新错误推荐可操作的修复提示？
• RQ2 使用LDA与SVM对错误报告相似性进行建模，能否准确预测相关的历史修复方案？
• RQ3 特定修复操作（如空指针检查）在不同错误修复中的重复率如何？
• RQ4 错误报告的质量与结构如何影响修复建议系统的表现？
• RQ5 从过往修复中提取的通用修复提示能否提升开发者在调试过程中的效率？

主要发现

• 所提出的方法在使用SVM与LDA特征进行10折交叉验证时，对错误报告分类实现了83%的精确率与74%的召回率。
• 在分析的超过50%的补丁中，均采用了相同的修复操作——检查kmalloc的返回值，表明常见模式具有高度重复性。
• 对完整错误报告及评论进行主题建模效果较差，原因在于代码片段与执行输出引入了大量噪声，限制了LDA的有效性。
• 简单的启发式规则（如提交日志中包含'Bug #'）仅恢复了约400对错误-修复关联，但需要更先进的关联策略以实现完整性。
• 当前实现依赖显式错误链接，凸显了需要更通用的错误关联技术，以提升系统可扩展性。
• 通过spdiff进行语义补丁推断在性能优化不足时难以扩展，因为剔除不相似补丁部分的计算开销仍然很高。