[论文解读] Fine-grained Pseudo-code Generation Method via Code Feature Extraction and Transformer

Guang Yang, Yanlin Zhou+2 more|arXiv (Cornell University)|Feb 12, 2021

Software Engineering Research被引用 5

一句话总结

本文提出 DeepPseudo，一种基于 Transformer 的方法，通过卷积神经网络（CNN）提取代码特征，并结合序列到序列学习，从源代码生成细粒度伪代码。通过融合局部代码特征与全局上下文表征，并引入对抗性训练，DeepPseudo 在 Django 和 SPoC 数据集上实现了最先进性能，在四项评估指标上均优于七个基线模型。

ABSTRACT

Pseudo-code written by natural language is helpful for novice developers' program comprehension. However, writing such pseudo-code is time-consuming and laborious. Motivated by the research advancements of sequence-to-sequence learning and code semantic learning, we propose a novel deep pseudo-code generation method DeepPseudo via code feature extraction and Transformer. In particular, DeepPseudo utilizes a Transformer encoder to perform encoding for source code and then use a code feature extractor to learn the knowledge of local features. Finally, it uses a pseudo-code generator to perform decoding, which can generate the corresponding pseudo-code. We choose two corpora (i.e., Django and SPoC) from real-world large-scale projects as our empirical subjects. We first compare DeepPseudo with seven state-of-the-art baselines from pseudo-code generation and neural machine translation domains in terms of four performance measures. Results show the competitiveness of DeepPseudo. Moreover, we also analyze the rationality of the component settings in DeepPseudo.

研究动机与目标

• 为解决新手开发者在手动编写伪代码时耗时耗力的问题。
• 通过自动生成人类可读的、自然语言描述的源代码说明，提升程序理解能力。
• 通过融合局部代码特征与全局上下文表征，提升伪代码生成质量。
• 利用真实世界代码语料库验证所提模型的有效性与鲁棒性。
• 提供代码、模型与数据集的开源访问，以支持可复现性与未来研究。

提出的方法

• Transformer 编码器处理源代码，学习全局上下文表征。
• 基于 CNN 的代码特征提取器捕捉代码的局部语法与结构特征。
• 将 Transformer 与 CNN 的编码表征拼接后输入解码器，用于生成伪代码。
• 解码器使用束搜索（beam search）生成高质量、自然语言风格的伪代码序列。
• 通过 PGD 对嵌入层实施对抗性训练，以提升模型鲁棒性并减少过拟合。
• 评估多种注意力机制（包括归一化注意力）以优化解码性能。

实验结果

研究问题

• RQ1 与标准 Transformer 模型相比，代码特征提取的引入是否能提升伪代码生成性能？
• RQ2 注意力机制的选择（如归一化注意力）如何影响模型性能？
• RQ3 模型深度（N）、模型宽度（d_model）和卷积核大小（K）等超参数的最优配置是什么？
• RQ4 对抗性训练如何影响模型的鲁棒性与泛化能力？

主要发现

• 在 Django 和 SPoC 两个数据集上，DeepPseudo 在四项评估指标（BLEU、ROUGE-L、CIDER、METEOR）上均优于七个最先进基线模型。
• 在 Django 数据集上，DeepPseudo 的 BLEU 得分为 50.817，ROUGE-L 为 39.201，CIDER 为 77.773，METEOR 为 5.813。
• 在 SPoC 数据集上，DeepPseudo 的 BLEU 得分为 46.454，ROUGE-L 为 40.809，CIDER 为 63.430，METEOR 为 4.113。
• 消融实验证实，代码特征提取器显著提升性能，尤其在结合归一化注意力时提升最为明显。
• 最优超参数配置为 N=3，d_model=256，kernel_size=5，因更大值导致训练不稳定与性能下降。
• 对抗性训练提升了模型鲁棒性并减少过拟合，尤其在低资源场景下效果显著。