[论文解读] CommitBART: A Large Pre-trained Model for GitHub Commits

Shangqing Liu, Yanzhou Li+2 more|arXiv (Cornell University)|Aug 17, 2022

Software Engineering Research被引用 9

一句话总结

CommitBART 是一个在涵盖七种编程语言的 799 万条 GitHub 提交记录上微调的大规模预训练编码器-解码器 Transformer 模型。它在六个预训练任务中结合了去噪、跨模态生成和对比学习目标，实现了在提交理解与生成任务（包括提交信息生成和更新代码片段生成）上的最先进性能。

ABSTRACT

GitHub commits, which record the code changes with natural language messages for description, play a critical role for software developers to comprehend the software evolution. To promote the development of the open-source software community, we collect a commit benchmark including over 7.99 million commits across 7 programming languages. Based on this benchmark, we present CommitBART, a large pre-trained encoder-decoder Transformer model for GitHub commits. The model is pre-trained by three categories (i.e., denoising objectives, cross-modal generation and contrastive learning) for six pre-training tasks to learn commit fragment representations. Furthermore, we unify a ``commit intelligence'' framework with one understanding task and three generation tasks for commits. The comprehensive experiments on these tasks demonstrate that CommitBARTsignificantly outperforms previous pre-trained works for code. Further analysis also reveals each pre-training task enhances the model performance.

研究动机与目标

• 为解决软件工程领域中缺乏大规模、公开可用的提交数据以训练专用模型的问题。
• 开发一种专为 GitHub 提交设计的预训练模型，以捕捉代码与自然语言语义。
• 统一构建一个支持提交理解与生成任务的“提交智能”框架。
• 通过多目标预训练提升提交相关自然语言处理任务的性能。
• 发布大规模提交基准数据集与模型，以加速代码智能领域的研究。

提出的方法

• 从七个编程语言（C、CSharp、Java、JavaScript、PHP、Python、TypeScript）的 top 500 GitHub 项目中收集包含 799 万条提交记录的基准数据集。
• 设计并使用三类目标对 CommitBART 进行预训练：去噪（文本填空与图引导的标记掩码）、跨模态生成（PL2NL 与 PLNL2PL）以及对比学习（NLPL 对齐与 SimCSE）。
• 采用图引导的标记掩码方法，通过预测代码与提交信息中共同存在的标记，增强两者之间的语义对齐。
• 实现 PL2NL 生成任务，从代码变更中预测提交信息；实现 PLNL2PL 生成任务，从原始代码与提交信息中预测更新后的代码。
• 通过 NLPL 对齐实现对比学习，以对齐代码与信息的嵌入表示；通过 SimCSE 学习通过丢弃增强编码获得的鲁棒且语义等价的表示。
• 在下游任务上微调 CommitBART，包括安全补丁识别（理解任务）以及提交信息生成、正向代码语句生成与更新代码片段生成任务。

实验结果

研究问题

• RQ1 与通用代码模型相比，大规模、专用提交的预训练模型是否能显著提升提交相关自然语言处理任务的性能？
• RQ2 去噪、跨模态生成与对比学习等不同预训练目标在增强提交表征学习方面的有效性如何？
• RQ3 图引导的标记掩码在多大程度上提升了提交信息与代码变更之间的语义对齐？
• RQ4 统一的“提交智能”框架是否能支持多样化的下游任务并具备强大的泛化能力？
• RQ5 CommitBART 在需要功能正确性与语义准确性的生成任务中表现如何？

主要发现

• CommitBART 在所有评估任务中均达到最先进性能，包括安全补丁识别与提交信息生成，优于先前模型如 UniXcoder 与 Incr-PLBART。
• 消融实验表明，若移除 PLNL2PL 生成任务，更新代码片段生成的 BLEU-4 分数将从七种语言的 57.63 降至 53.70。
• 图引导的标记掩码显著提升了生成任务的性能，表明其在缩小代码与自然语言之间语义差距方面的有效性。
• 两种对比学习目标（NLPL 对齐与 SimCSE）均对模型性能有显著贡献，提升了嵌入质量。
• 案例研究证实，CommitBART 能准确生成包名（如 'xray.backends'）作为提交信息，而基线模型则失败，表明其具备更优的语义捕捉能力。
• 发现使用分段嵌入有益，可能是因为提交结构复杂，涉及消息、代码变更等多组件。