[论文解读] CodePAD: Sequence-based Code Generation with Pushdown Automaton

Yihong Dong, Xue Jiang+3 more|arXiv (Cornell University)|Nov 2, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文提出 CodePAD，一种基于序列的代码生成框架，通过集成下推自动机（PDA）模块，在代码生成过程中强制保证语法正确性。通过利用 PDA 状态表示并联合预测状态，CodePAD 在基准数据集上实现了 100% 的语法正确性，显著优于基础模型和 CodeGen-350M 等预训练模型，在 CodeBLEU 和 EM 指标上均有提升。

ABSTRACT

In the process of code generation, it is essential to guarantee the generated code satisfies grammar constraints of programming language (PL). However, neglecting grammar constraints is a fatal drawback of commonly used sequence-based code generation. In this paper, we devise a pushdown automaton (PDA)-based methodology to address this problem, exploiting the principle that PL is a subset of PDA recognizable language and code accepted by PDA is grammatical. Specifically, we construct a PDA module and design an algorithm to constrain the generation of sequence-based models to ensure grammatical correctness. Guided by this methodology, we further propose CodePAD, a sequence-based code generation framework equipped with a PDA module, to integrate the deduction of PDA into deep learning. Additionally, this framework can leverage states of PDA deduction (including state representation, state prediction task, and joint prediction with state) to assist models in learning PDA deduction. To comprehensively evaluate CodePAD, we construct a PDA for Python and conduct extensive experiments on four public benchmark datasets. CodePAD can leverage existing sequence-based models, and we show that it can achieve 100\% grammatical correctness percentage on these benchmark datasets. Thus, it relatively improve 17\% CodeBLEU on CONALA, 8\% EM on DJANGO, and 15\% CodeBLEU on JUICE-10K compared to base models. In addition, our method significantly enhances pre-trained models, e.g., CodeBLEU of CodeGen-350M improvement from 3.21 to 21.54 on MBPP in zero-shot setting.

研究动机与目标

• 为解决基于序列的代码生成模型的关键局限性，即尽管语义性能强大，但常生成语法错误的代码。
• 开发一种方法，在不依赖昂贵的解析或基于抽象语法树（AST）方法的前提下，保证代码生成过程中的语法正确性。
• 将基于 PDA 的语法约束整合到序列模型中，同时保持其在代码补全等实际应用中的效率与灵活性。
• 评估 PDA 状态表示、状态预测和联合预测在提升代码生成质量方面的有效性。

提出的方法

• 设计一个 PDA 模块，将编程语言（如 Python）的语法规则建模为下推自动机，以识别有效的代码序列。
• 开发一种算法，在生成过程中模拟 PDA 的归约过程，确保仅从当前 PDA 状态所识别的有效终结符集合中选择下一个标记。
• 引入状态表示，将 PDA 状态嵌入模型的隐藏空间，支持通过注意力机制进行端到端训练。
• 采用多任务目标进行模型训练：联合预测下一个标记和下一个 PDA 状态，使用可学习系数 α 平衡两项损失。
• 在推理阶段使用带有 PDA 状态约束的束搜索，确保仅生成语法正确的序列。
• 利用 PDA 的接受状态集合，仅在生成出有效且完整的代码序列时才终止生成。

实验结果

研究问题

• RQ1 RQ1：与不依赖预训练但保证语法正确性的最先进树基方法相比，CodePAD 的表现如何？
• RQ2 RQ2：基于 PDA 的方法中，各组件——状态表示、状态预测和联合预测——对整体性能的贡献分别是什么？
• RQ3 RQ3：PDA 模块如何增强预训练序列模型（如 CodeGen 和 CodeT5）的有效性？
• RQ4 RQ4：PDA 模块如何在推理阶段确保 CodePAD 生成语法正确的代码？

主要发现

• CodePAD 在所有四个基准数据集上均实现了 100% 的语法正确性，彻底消除了生成代码中的语法错误。
• 在 CONALA 数据集上，与基础模型相比，CodePAD 的 CodeBLEU 提升了 17%；在 DJANGO 数据集上，EM 提升了 8%。
• 在 MBPP 基准测试中，当使用 CodePAD 微调时，CodeGen-350M 在零样本设置下的 CodeBLEU 得分从 3.21 提升至 21.54。
• 损失加权的最优超参数 α 被确定为 LSTM-based CodePAD 的 1.0，而 Transformer-based 模型则因数据集不同而异，表明状态预测任务具有很强的有效性。
• 在 CONALA 上的编译成功率高达 99.2%，大多数编译错误源于语义或类型不匹配，而非语法错误，表明语法正确性是编译成功的坚实基础。
• PDA 模块实现了高效、实时的语法验证，无需对不完整代码进行完整解析，避免了逐标记试错带来的高昂计算成本。