[论文解读] Generating Commit Messages from Git Diffs

S. R. P. van Hal, Matt Post+1 more|arXiv (Cornell University)|Nov 26, 2019

Software Engineering Research参考文献 25被引用 8

一句话总结

本文复现了Jiang等人（2017年）基于Git差异生成提交信息的神经序列到序列模型，并评估了一种更严格、更严谨的预处理技术。尽管复现模型在原始数据集上的BLEU得分略高于原始模型，但新预处理技术导致性能大幅下降——BLEU得分至少降低78%，揭示了当前模型依赖于记忆路径名称和常见短语等表面模式，而非理解代码语义。

ABSTRACT

Commit messages aid developers in their understanding of a continuously evolving codebase. However, developers not always document code changes properly. Automatically generating commit messages would relieve this burden on developers. Recently, a number of different works have demonstrated the feasibility of using methods from neural machine translation to generate commit messages. This work aims to reproduce a prominent research paper in this field, as well as attempt to improve upon their results by proposing a novel preprocessing technique. A reproduction of the reference neural machine translation model was able to achieve slightly better results on the same dataset. When applying more rigorous preprocessing, however, the performance dropped significantly. This demonstrates the inherent shortcoming of current commit message generation models, which perform well by memorizing certain constructs. Future research directions might include improving diff embeddings and focusing on specific groups of commits.

研究动机与目标

• 复现Jiang等人（2017年）的神经序列到序列模型以验证其结果。
• 探究更严格的预处理流程是否能提升神经提交信息生成模型的性能。
• 从GitHub上排名前1000的Java和C#项目中收集并分析两个新数据集，以评估跨语言的泛化能力。
• 识别当前模型的局限性，特别是其对路径名称和常见短语等表面模式的依赖记忆现象。
• 探索未来研究方向，如代码嵌入技术与提交类型特定建模，以提升对代码变更语义的理解。

提出的方法

• 基于Jiang等人（2017年）的方法，实现一个基于LSTM和序列到序列学习的注意力RNN编码器-解码器模型。
• 推理阶段采用贪婪解码，基于最高概率预测逐个生成提交信息的词元。
• 设计一种新型预处理流程，用于清理噪声提交信息、去除无关内容，并统一差异格式。
• 在原始数据集和预处理后数据集上训练模型，包括从排名前1000的Java和C#项目中获取的新数据集。
• 使用BLEU得分作为主要评估指标，比较不同预处理策略和数据集上的性能表现。
• 探索替代方法，如代码嵌入（例如Code2Vec）来表示代码变更，但因输入尺寸可变性和模型限制而被认为不可行。

实验结果

研究问题

• RQ1 RQ1：能否使用相同的数据集和模型架构复现Jiang等人（2017年）的研究结果？
• RQ2 RQ2：应用更严格的预处理技术是否能提升神经提交信息生成模型的性能？
• RQ3 RQ3：在应用新型预处理后，模型在新收集的排名前1000的Java和C#项目数据集上的表现如何？
• RQ4 RQ4：当前模型的根本失败模式是什么，特别是与表面模式（如路径名称和常见短语）的记忆化有关？
• RQ5 RQ5：未来哪些研究方向可能提升提交信息生成中对代码变更语义的理解？

主要发现

• 对Jiang等人（2017年）模型的复现版本在相同数据集上取得了略高于原始模型的BLEU得分，证实了可复现性。
• 旨在去除噪声并提升数据质量的新预处理技术，使所有测试数据集的BLEU得分至少下降78%。
• 性能下降表明，当前模型严重依赖于对频繁路径名称和常见提交信息短语的记忆，而非理解代码语义。
• 模型在原始数据上的高性能源于对模式的记忆，而非泛化能力，暴露了当前方法的根本局限性。
• 预处理流程的失败表明，去除噪声可能意外剥离了模型用于预测的关键信号。
• 未来改进可能需要更优的代码嵌入方法以捕捉结构化变化，或针对不同提交类型（如新增、删除、重构）训练专用模型。