[论文解读] Ain't Nobody Got Time For Coding: Structure-Aware Program Synthesis From Natural Language

Jakub Bednarek, Karol Piaskowski+1 more|arXiv (Cornell University)|Oct 23, 2018

Software Engineering Research参考文献 19被引用 5

一句话总结

该论文提出SAPS，一种用于从自然语言生成结构感知程序的神经端到端框架，通过双循环LSTM解码器结合软注意力机制和新颖的信号传播方式，利用潜在向量在自然语言规范与代码抽象语法树（AST）之间建立桥梁。该方法在大规模多句自然语言规范数据集上实现超过92%的准确率，无需后处理即可生成正确程序，优于先前方法。

ABSTRACT

Program synthesis from natural language (NL) is practical for humans and, once technically feasible, would significantly facilitate software development and revolutionize end-user programming. We present SAPS, an end-to-end neural network capable of mapping relatively complex, multi-sentence NL specifications to snippets of executable code. The proposed architecture relies exclusively on neural components, and is trained on abstract syntax trees, combined with a pretrained word embedding and a bi-directional multi-layer LSTM for processing of word sequences. The decoder features a doubly-recurrent LSTM, for which we propose novel signal propagation schemes and soft attention mechanism. When applied to a large dataset of problems proposed in a previous study, SAPS performs on par with or better than the method proposed there, producing correct programs in over 92% of cases. In contrast to other methods, it does not require post-processing of the resulting programs, and uses a fixed-dimensional latent representation as the only interface between the NL analyzer and the source code generator.

研究动机与目标

• 实现无需后处理的从自然语言规范到端到端神经程序合成。
• 通过固定维数的潜在空间，建模自然语言描述与代码AST之间的结构和语义对应关系。
• 通过利用预训练组件和注意力机制，提升程序合成的泛化能力和正确性。
• 证明仅使用神经架构即可可靠地从复杂自然语言输入生成语法和语义正确的代码。
• 探索信号传播和注意力机制在从潜在表征解码复杂程序结构方面的有效性。

提出的方法

• 模型使用预训练的GloVe词嵌入将输入自然语言编码为300维词向量。
• 一个4层双向LSTM处理词嵌入，并将其映射为固定大小的潜在表征（$h^{(latent)}$）。
• 解码器采用新颖的双循环LSTM（DRNN）架构，结合创新的信号传播策略，支持水平和垂直状态流动。
• 在潜在向量上应用软注意力机制，以引导解码器生成AST节点，提升与语义内容的对齐。
• 解码器可选择性地使用树到树自编码器进行预训练，实现更好的初始化，并在端到端训练中提升性能。
• 在训练和推理过程中，采用动态批处理技术，高效处理树状结构的AST。

实验结果

研究问题

• RQ1 纯粹的神经端到端架构能否直接从多句自然语言规范生成正确且语法有效的程序？
• RQ2 固定维数的潜在表征在捕捉自然语言规范的语义和结构内容方面有多有效？
• RQ3 在双循环解码器中，新颖的信号传播方案和软注意力机制在多大程度上提升了程序合成的准确性？
• RQ4 预训练的解码器能否在无需直接关注输入自然语言序列的情况下提升端到端程序合成的性能？
• RQ5 该模型在未见规范上的泛化能力如何？即使与目标程序不完全相同，有多少比例的生成程序在语义上是正确的？

主要发现

• SAPS在测试集上实现了92.14%的程序正确率，其中92.98%的生成程序通过了所有可执行测试。
• 测试过程中未生成任何语法错误的程序，表明潜在表征具有强大的语法泛化能力。
• 在超过92%的情况下，模型生成了与目标程序完全一致的副本，表明其在结构和逻辑上具有高度保真度。
• 可训练解码器与固定（预训练）解码器之间的性能差距表明，端到端微调对实现高准确率至关重要。
• 仅作用于潜在向量的软注意力机制显著提升了性能，表明潜在空间具有高度信息量。
• 即使程序不完美，通常也能通过至少50%的测试，表明其常包含语义上有用的代码片段，显示出对部分正确性的鲁棒性。