[论文解读] Deep Reinforcement Learning for Programming Language Correction

Rahul Gupta, Aditya Kanade+1 more|arXiv (Cornell University)|Jan 31, 2018

Reinforcement Learning in Robotics参考文献 14被引用 22

一句话总结

该论文提出 RLAssist，一种深度强化学习框架，通过模仿人类编辑行为（包括导航与逐标记编辑）来纠正编程语言的语法错误。该框架直接从原始程序文本进行训练，无需预先掌握语法规则，在仅使用10%专家演示数据以加速学习的情况下，修复的程序比最先进的 DeepFix 多14%，修复的编译器错误消息多29%。

ABSTRACT

Novice programmers often struggle with the formal syntax of programming languages. To assist them, we design a novel programming language correction framework amenable to reinforcement learning. The framework allows an agent to mimic human actions for text navigation and editing. We demonstrate that the agent can be trained through self-exploration directly from the raw input, that is, program text itself, without any knowledge of the formal syntax of the programming language. We leverage expert demonstrations for one tenth of the training data to accelerate training. The proposed technique is evaluated on 6975 erroneous C programs with typographic errors, written by students during an introductory programming course. Our technique fixes 14% more programs and 29% more compiler error messages relative to those fixed by a state-of-the-art tool, DeepFix, which uses a fully supervised neural machine translation approach.

研究动机与目标

• 解决新手程序员在编程语言中修复常见语法错误的挑战。
• 开发一种基于强化学习的智能体，能够在不了解正式编程语法规则的情况下，导航并编辑程序文本。
• 通过支持更细粒度的逐标记编辑和强大的错误恢复能力，超越现有工具（如 DeepFix）的性能。
• 证明通过极少专家监督的自我探索，即可实现高效的程序修复。

提出的方法

• 智能体使用基于LSTM的编码器处理程序文本和光标位置，生成上下文嵌入表示。
• 智能体执行离散动作：在标记间导航（左/右/上/下）以及编辑标记（插入、删除、替换）。
• 设计基于编译器错误消息减少程度的奖励函数，成功编译时获得最大奖励。
• 使用异步优势演员-critic（A3C）算法训练智能体策略，以最大化累积奖励。
• 仅少量使用专家演示（训练数据的10%）以加速学习，且演示自动生成，无需人工干预。
• 环境会拒绝使程序恶化的行为，从而剪枝低效探索路径，提升样本效率。

实验结果

研究问题

• RQ1 强化学习智能体能否仅通过原始程序文本和编译器反馈，在不了解语法规则的情况下学习纠正编程语言的语法错误？
• RQ2 在程序修复的强化学习设置中，即使演示自动生成，专家演示是否能显著加速训练？
• RQ3 与行级编辑相比，标记级编辑在纠正常见编程错误方面是否表现更优？
• RQ4 强化学习智能体能否在程序修复任务中超越完全监督的神经机器翻译模型（如 DeepFix）？
• RQ5 是否可能仅通过自我探索训练出高性能的程序修复智能体，而无需任何专家演示？

主要发现

• RLAssist 完全修复了1,854个程序，部分修复1,426个，完全修复率比 DeepFix 高14%。
• RLAssist 成功解决了6,652条编译器错误消息，较 DeepFix 的5,156条提升了29%。
• 即使不使用专家演示，Baseline2（无编辑惩罚）也实现了76%的错误消息解决率，与 DeepFix 性能相当。
• 智能体学习到的嵌入在错误定位状态上形成清晰聚类，证实其能有效捕捉程序结构与错误位置信息。
• RLAssist 的标记级编辑支持精确修复，而 DeepFix 的行级替换方式受限于粗粒度操作，难以处理级联错误。
• 该框架与编程语言无关，可轻松扩展至其他语言及错误类型。