[论文解读] Contextualized Code Representation Learning for Commit Message Generation

Lun Yiu Nie, Cuiyun Gao+4 more|arXiv (Cornell University)|Jul 14, 2020

Software Engineering Research参考文献 37被引用 10

一句话总结

该论文提出 CoreGen，一种上下文感知的代码表示学习方法，利用基于 Transformer 的模型从提交序列中捕获上下文敏感的代码表示，显著提升了提交消息生成效果。通过采用动态、上下文敏感的代码嵌入而非静态嵌入，CoreGen 在基线模型基础上实现了 28.18% 的 BLEU-4 分数提升。

ABSTRACT

Automatic generation of high-quality commit messages for code commits can substantially facilitate developers' works and coordination. However, the semantic gap between source code and natural language poses a major challenge for the task. Several studies have been proposed to alleviate the challenge but none explicitly involves code contextual information during commit message generation. Specifically, existing research adopts static embedding for code tokens, which maps a token to the same vector regardless of its context. In this paper, we propose a novel Contextualized code representation learning method for commit message Generation (CoreGen). CoreGen first learns contextualized code representation which exploits the contextual information behind code commit sequences. The learned representations of code commits built upon Transformer are then transferred for downstream commit message generation. Experiments on the benchmark dataset demonstrate the superior effectiveness of our model over the baseline models with an improvement of 28.18% in terms of BLEU-4 score. Furthermore, we also highlight the future opportunities in training contextualized code representations on larger code corpus as a solution to low-resource settings and adapting the pretrained code representations to other downstream code-to-text generation tasks.

研究动机与目标

• 解决提交消息生成中源代码与自然语言之间的语义鸿沟问题。
• 克服静态代码嵌入无法捕捉代码标记上下文细微差别的局限性。
• 开发一种从提交序列中学习上下文感知代码表示的方法，以提升下游消息生成效果。
• 证明上下文感知代码表示在提升自动提交消息生成质量方面的有效性。
• 探索在更大代码语料上进行预训练的潜力，以应对低资源场景，并迁移至其他代码到文本任务。

提出的方法

• 利用基于 Transformer 的架构，通过建模序列中代码标记之间的依赖关系，学习代码提交的上下文感知表示。
• 在提交序列上进行训练，以捕捉语法和语义上下文，从而生成随上下文变化的动态代码标记嵌入。
• 将学习到的代码表示迁移至下游提交消息生成模型，实现端到端训练。
• 采用序列到序列建模与注意力机制，从上下文感知的代码表示生成自然语言提交消息。
• 利用大规模代码语料进行预训练，以提升表示质量，尤其在低资源场景下表现更优。
• 在基准数据集上微调模型，以优化 BLEU-4 及其他生成指标。

实验结果

研究问题

• RQ1 从提交序列中学习到的上下文感知代码表示能否提升自动生成提交消息的质量？
• RQ2 与使用静态代码嵌入的模型相比，CoreGen 在生成性能方面表现如何？
• RQ3 在低资源提交消息生成场景下，于更大代码语料上进行预训练能在多大程度上提升性能？
• RQ4 学习到的上下文感知代码表示能否有效迁移至其他代码到文本生成任务？
• RQ5 在代码提交中建模序列上下文对生成消息的流畅性与相关性有何影响？

主要发现

• CoreGen 在基线模型基础上实现了 28.18% 的 BLEU-4 分数提升，证明了在提交消息生成任务中性能的显著提升。
• 与静态嵌入相比，使用上下文感知代码表示可生成更具语义准确性和上下文相关性的提交消息。
• 通过迁移学习，模型性能得到增强，表明在更大代码语料上进行预训练可提升泛化能力，尤其在低资源场景下表现更优。
• 上下文感知表示能有效捕捉代码提交内部的句法与语义依赖关系，从而实现与自然语言描述的更好对齐。
• 模型展现出强大的可迁移性，表明其在其他代码到文本生成任务（如代码文档生成或问题摘要）中具有潜在适应能力。
• 结果验证了动态建模代码上下文（而非使用固定嵌入）对于高质量提交消息生成至关重要。