[论文解读] DeepBugs: A Learning Approach to Name-based Bug Detection

Michael Pradel, Koushik Sen|arXiv (Cornell University)|Apr 30, 2018

Software Engineering Research参考文献 53被引用 14

一句话总结

DeepBugs 在动态类型语言（如 JavaScript）中引入了一种基于机器学习的名称错误检测方法，利用标识符的语义嵌入并基于人工植入的错误进行训练，从而构建出准确且高效的检测器。该框架在检测中实现了 89–95% 的准确率，并发现了 102 个真实世界的错误，真阳性率为 68%。

ABSTRACT

Natural language elements in source code, e.g., the names of variables and functions, convey useful information. However, most existing bug detection tools ignore this information and therefore miss some classes of bugs. The few existing name-based bug detection approaches reason about names on a syntactic level and rely on manually designed and tuned algorithms to detect bugs. This paper presents DeepBugs, a learning approach to name-based bug detection, which reasons about names based on a semantic representation and which automatically learns bug detectors instead of manually writing them. We formulate bug detection as a binary classification problem and train a classifier that distinguishes correct from incorrect code. To address the challenge that effectively learning a bug detector requires examples of both correct and incorrect code, we create likely incorrect code examples from an existing corpus of code through simple code transformations. A novel insight learned from our work is that learning from artificially seeded bugs yields bug detectors that are effective at finding bugs in real-world code. We implement our idea into a framework for learning-based and name-based bug detection. Three bug detectors built on top of the framework detect accidentally swapped function arguments, incorrect binary operators, and incorrect operands in binary operations. Applying the approach to a corpus of 150,000 JavaScript files yields bug detectors that have a high accuracy (between 89% and 95%), are very efficient (less than 20 milliseconds per analyzed file), and reveal 102 programming mistakes (with 68% true positive rate) in real-world code.

研究动机与目标

• 解决现有静态分析工具忽略标识符名称的问题，因为这些名称通常包含关于程序预期行为的语义线索。
• 克服对变量名和函数名语义含义进行推理的挑战，因为这些含义本质上具有模糊性，无法仅通过语法分析解决。
• 通过用示例学习自动替代手动设计和调整启发式规则，减少先前基于名称的错误检测器中所需的人工努力。
• 提升对细微的、与名称相关的错误的检测能力，尤其是在缺乏类型信息的动态类型语言中，此时标识符名称对于理解语义至关重要。

提出的方法

• 使用学习得到的语义嵌入表示标识符名称，以捕捉超越字面匹配的语义相似性（例如，'length' 和 'count' 在语义上是相似的）。
• 将错误检测建模为二分类问题：使用训练好的分类器区分正确代码与错误代码。
• 通过在真实代码上应用简单的语法代码变换（如交换函数参数或二元操作中的操作数）来生成负（错误）训练样本。
• 在真实（正样本）和人工转换（负样本）代码示例组成的平衡数据集上训练分类器，以学习指示错误的模式。
• 实现三种专门的错误检测器：用于检测交换的函数参数、错误的二元操作符，以及循环中交换的操作数，所有检测器均基于标识符名称的语义。
• 将训练好的检测器应用于包含 150,000 个 JavaScript 文件的语料库，以评估其在真实世界中的有效性和效率。

实验结果

研究问题

• RQ1 基于学习的方法是否能在检测基于名称的错误方面超越手动设计的启发式规则，尤其是在动态类型语言中？
• RQ2 通过简单代码变换人工植入的错误是否能有效生成二分类器的负样本？
• RQ3 从标识符的语义嵌入中学习是否能提升对仅靠字面相似性无法识别的错误的检测能力？
• RQ4 在人工注入错误上训练的模型是否能以高精确率和高召回率泛化到检测真实世界编程错误？

主要发现

• DeepBugs 框架在三个不同的错误检测器上实现了 89–95% 的准确率，证明了其在基于名称的错误检测方面具有强大性能。
• 该方法在生产级 JavaScript 代码中检测到了 102 个真实世界的编程错误，真阳性率为 68%，表明其在训练数据之外具有良好的泛化能力。
• 每文件的平均分析时间低于 20 毫秒，表明该方法高效且适合集成到开发流水线中。
• 通过简单代码变换生成的人工植入错误能产生高度有效的分类器，验证了该方法的核心洞察：合成负样本可训练出鲁棒的检测器。
• 标识符的语义嵌入显著提升了检测能力，超越了仅靠字面相似性所能达到的效果，使检测涉及语义相似但字面不同的名称的错误成为可能。
• 该框架成功识别出传统静态分析工具因忽略标识符名称而遗漏的真实代码错误。