[论文解读] Semantic Code Repair using Neuro-Symbolic Transformation Networks

Jacob Devlin, Jonathan Uesato+2 more|arXiv (Cornell University)|Oct 30, 2017

Software Engineering Research参考文献 14被引用 29

一句话总结

该论文提出了一种名为 Share, Specialize, and Compete (SSC) 的神经符号框架，用于在无需单元测试的情况下进行语义代码修复。该框架利用代码的共享神经编码、针对不同错误类型的专用模块，以及竞争性评分机制来预测精确修复，实测在真实世界错误上达到 41% 的准确率，显著优于基线的 seq2seq 模型。

ABSTRACT

We study the problem of semantic code repair, which can be broadly defined as automatically fixing non-syntactic bugs in source code. The majority of past work in semantic code repair assumed access to unit tests against which candidate repairs could be validated. In contrast, the goal here is to develop a strong statistical model to accurately predict both bug locations and exact fixes without access to information about the intended correct behavior of the program. Achieving such a goal requires a robust contextual repair model, which we train on a large corpus of real-world source code that has been augmented with synthetically injected bugs. Our framework adopts a two-stage approach where first a large set of repair candidates are generated by rule-based processors, and then these candidates are scored by a statistical model using a novel neural network architecture which we refer to as Share, Specialize, and Compete. Specifically, the architecture (1) generates a shared encoding of the source code using an RNN over the abstract syntax tree, (2) scores each candidate repair using specialized network modules, and (3) then normalizes these scores together so they can compete against one another in comparable probability space. We evaluate our model on a real-world test set gathered from GitHub containing four common categories of bugs. Our model is able to predict the exact correct repair 41\% of the time with a single guess, compared to 13\% accuracy for an attentional sequence-to-sequence model.

研究动机与目标

• 开发一个统计模型，以在无法访问单元测试或行为规范的情况下预测精确的语义代码修复。
• 解决需要深入理解程序员意图和上下文的非语法错误的修复挑战。
• 构建一个框架，通过共享表示和专用评分模块，在多种语义错误模式间实现泛化。
• 在真实世界的人工标注错误数据集上评估模型，以评估其实际适用性和性能。

提出的方法

• 该模型使用基于 RNN 的共享编码器，为源代码的抽象语法树生成上下文表示。
• 针对每种修复类型使用专用的神经模块，基于共享的代码表示对单个修复候选进行评分。
• 将专用模块的原始分数在共享的概率空间中进行归一化和比较，以实现候选之间的公平竞争。
• 该框架在大规模真实 Python 代码语料库上进行训练，通过合成注入错误来模拟多样的语义错误模式。
• 采用两阶段方法，将修复候选生成（基于规则）与评分（神经）解耦，从而实现高效且准确的排序。
• 该模型在合成错误集和真实世界错误集上均进行了评估，包括来自 GitHub 的人工标注测试集。

实验结果

研究问题

• RQ1 神经模型是否能在不依赖单元测试或行为规范的情况下实现高精度的语义代码修复？
• RQ2 共享表示与专用模块的结合在多大程度上能泛化到多样的语义错误模式？
• RQ3 与端到端的序列到序列模型相比，竞争性评分机制在多大程度上提升了修复准确率？
• RQ4 训练数据的多样性与规模在学习高层次修复模式方面起到什么作用？
• RQ5 在现实修复场景中，该模型的性能与人类专家相比如何？

主要发现

• SSC 模型在来自 GitHub 的真实世界测试集上实现了 41% 的精确修复准确率，显著优于基线注意力序列到序列模型（仅 13% 准确率）。
• 当从所有可能的修复候选中选择时，人类评估者在相同测试集上实现了 37% 的准确率，表明在高注意力负荷下，模型表现优于人类。
• 当限制在模型预测的前四个候选时，人类表现提升至 76%，表明主要挑战在于认知负荷，而非理解能力不足。
• 该模型学习到了高层次的修复模式，如“y.x = x”和“if (x c1 y) elif (x c2 y)”，并超越了表面级标记匹配的泛化能力。
• 失败案例表明，该模型在处理变量名和字符串字面量等词汇线索方面表现较弱，提示未来工作需引入子词或字符级编码。
• 该模型隐式地从训练数据中学习了概率模式——例如，在版本检查中更倾向于使用“<”而非“<=”——而无需显式推理程序语义。