[论文解读] On End-to-End Program Generation from User Intention by Deep Neural Networks

Lili Mou, Rui Men+3 more|arXiv (Cornell University)|Oct 25, 2015

Parallel Computing and Optimization Techniques参考文献 13被引用 50

一句话总结

本文提出了一种端到端的深度学习方法，使用循环神经网络（RNN）直接从自然语言用户意图生成可执行的、语义连贯的源代码。通过在用户描述和对应代码的字符级序列上进行训练，该模型学习生成语法正确且语义有意义的程序，案例研究基于编程在线评测系统数据集展示了其可行性。

ABSTRACT

This paper envisions an end-to-end program generation scenario using recurrent neural networks (RNNs): Users can express their intention in natural language; an RNN then automatically generates corresponding code in a characterby-by-character fashion. We demonstrate its feasibility through a case study and empirical analysis. To fully make such technique useful in practice, we also point out several cross-disciplinary challenges, including modeling user intention, providing datasets, improving model architectures, etc. Although much long-term research shall be addressed in this new field, we believe end-to-end program generation would become a reality in future decades, and we are looking forward to its practice.

研究动机与目标

• 研究使用深度神经网络直接从自然语言用户意图生成可执行且语义连贯代码的可行性。
• 证明RNN能够以端到端、逐字符的方式学习从自然语言到源代码的映射。
• 识别并解决在程序生成中建模用户意图、数据集整理以及神经架构设计方面的跨学科挑战。
• 展望此类模型在实际软件工程任务中的应用前景，例如自动代码补全和需求驱动的代码合成。

提出的方法

• 采用基于字符的RNN，使用长短期记忆（LSTM）单元来建模自然语言输入和代码输出的序列。
• 使用序列到序列框架进行RNN训练，其中输入为自然语言描述，输出为对应的源代码，两者均表示为字符序列。
• 在每个时间步使用Softmax层预测代码序列中的下一个字符，通过迭代过程生成代码，直到生成结束序列标记。
• 利用来自教学性质的在线评测系统数据集，对模型在真实编程任务上的训练和评估进行支持，任务配有自然语言问题描述。
• 通过实证分析研究RNN在捕捉代码生成的句法和功能特征方面的内部机制。
• 探索扩展方法，如生成基本代码片段并将其组合以处理复杂用户请求。

实验结果

研究问题

• RQ1 RNN能否以端到端方式直接从自然语言描述生成语法正确且语义连贯的源代码？
• RQ2 当在自然语言到代码的映射上进行训练时，RNN在建模编程语言的结构和语义特征方面表现如何？
• RQ3 在建模用户意图和整理高质量数据集以实现端到端程序生成方面，关键挑战是什么？
• RQ4 神经网络能否泛化以生成训练过程中未见过的新代码，尤其是针对复杂或复合请求？

主要发现

• RNN模型成功从自然语言描述生成了可执行且语义连贯的代码，证明了端到端程序生成的可行性。
• 实证分析表明，RNN在捕捉句法结构（如括号配对和缩进）方面特别有效，其行为类似于下推自动机。
• 模型在语义连贯性方面表现有限，生成的代码虽看似合理，但通常无法编译或功能不正确，表明其在语义理解方面存在差距。
• 在编程在线评测系统数据集上的案例研究证实，RNN能够学习生成符合问题规范的代码，尽管存在显著的错误率且未实现完全的功能正确性。
• 研究发现，当前模型在处理涉及多个操作或上下文相关逻辑的复杂用户请求时表现不佳，凸显了在架构和训练方法上进行改进的必要性。