[论文解读] A Neural Architecture for Generating Natural Language Descriptions from Source Code Changes

Pablo Loyola, Edison Marrese-Taylor+1 more|arXiv (Cornell University)|Apr 17, 2017

Software Engineering Research参考文献 16被引用 22

一句话总结

本文提出了一种注意力增强的编码器-解码器神经架构，利用提交对（前后版本）及其关联的提交信息，从源代码变更中生成自然语言描述。该模型在项目内和跨项目设置下均能生成语义合理、人类可读的摘要，展示了在多样化开源项目中的可行性与泛化能力，全数据集上的BLEU分数最高达34.3，验证准确率达到67.15%。

ABSTRACT

We propose a model to automatically describe changes introduced in the source code of a program using natural language. Our method receives as input a set of code commits, which contains both the modifications and message introduced by an user. These two modalities are used to train an encoder-decoder architecture. We evaluated our approach on twelve real world open source projects from four different programming languages. Quantitative and qualitative results showed that the proposed approach can generate feasible and semantically sound descriptions not only in standard in-project settings, but also in a cross-project setting.

研究动机与目标

• 开发一种自动化方法，用于生成源代码变更的自然语言摘要，超越静态代码摘要，捕捉程序演化的动态过程。
• 解决从代码变更中生成语义有意义描述的挑战，不依赖手工设计特征，利用端到端神经学习。
• 评估模型在跨项目设置下的泛化能力，其中训练和测试数据来自不同的软件项目。
• 探究注意力机制是否能有效对齐代码修改与不同编程上下文中的相关自然语言术语。
• 实现代码变更的自动化文档化，提升开发者对系统演化的理解。

提出的方法

• 该模型采用带有注意力机制的编码器-解码器架构，以对齐代码变更与自然语言描述。
• 编码器将两个连续代码版本之间的差异（即提交差异）作为输入，学习代码修改的密集表示。
• 解码器以自回归方式逐个生成自然语言描述的词元，条件于编码器的上下文向量和关注的代码词元。
• 注意力机制在解码过程中动态聚焦于相关代码词元，提升代码变更与描述性词语之间的对齐效果。
• 该模型在真实提交的三元组（变更前代码、变更后代码、自然语言提交信息）上进行训练。
• 该方法在12个开源项目中进行了评估，涵盖四种编程语言，采用项目内和跨项目两种设置。

实验结果

研究问题

• RQ1 神经序列到序列模型能否在无需手工特征工程的情况下，从代码变更中生成语义连贯且自然的语言描述？
• RQ2 当训练数据和测试数据来自不同软件项目时，该模型在跨项目设置下的泛化能力如何？
• RQ3 在代码与自然语言模态差异显著的情况下，该模型在多大程度上能通过注意力机制捕捉代码变更的意图？
• RQ4 在低资源或复杂变更场景下，该模型是否表现出重述能力并避免记忆化现象？
• RQ5 当模型在原子变更上进行训练时，能否为多文件变更生成有意义的摘要？

主要发现

• 在Guava项目上，该模型在全数据集上的验证准确率达到67.15%，BLEU分数达到34.3，表明其在复杂变更上表现优异。
• 在跨项目评估中，该模型在Python项目中仅添加或仅删除变更的BLEU分数分别为14.6和18.9，表明其在零样本设置下具有可行性。
• 该模型展现出重述能力，如Theano示例中将'fix crash in the new warning message'总结为'Better warning message'。
• 注意力热力图显示，该模型能有效对齐代码词元与生成描述中的有意义词汇，例如聚焦于'warning'和'message'。
• 该模型在生成通用且相关的描述方面表现出鲁棒性，同时避免引入无关术语（如具体数字或名称）。
• 尽管在youtube-dl等案例中存在部分记忆化现象，但大多数生成的描述与参考描述在语义上高度相关。