[論文レビュー] RACE: Retrieval-Augmented Commit Message Generation

Ensheng Shia, Yanlin Wang+6 more|arXiv (Cornell University)|Mar 5, 2022

Software Engineering Research被引用数 5

ひとこと要約

本稿では、意味的に類似するコミットメッセージをエグジンプルとして検索し、それらを現在のコード差分と整合させるエグジンプル・ガイドャーを用いて、生成品質を著しく向上させる、リtrieval増強型ニューラルモデルRACEを提案する。RACEは5つのプログラミング言語において最先端のモデルを上回り、BLEUスコアで最大43%の向上を達成し、人的評価でも情報量、簡潔さ、表現力の面で優れた結果を示している。

ABSTRACT

Commit messages are important for software development and maintenance. Many neural network-based approaches have been proposed and shown promising results on automatic commit message generation. However, the generated commit messages could be repetitive or redundant. In this paper, we propose RACE, a new retrieval-augmented neural commit message generation method, which treats the retrieved similar commit as an exemplar and leverages it to generate an accurate commit message. As the retrieved commit message may not always accurately describe the content/intent of the current code diff, we also propose an exemplar guider, which learns the semantic similarity between the retrieved and current code diff and then guides the generation of commit message based on the similarity. We conduct extensive experiments on a large public dataset with five programming languages. Experimental results show that RACE can outperform all baselines. Furthermore, RACE can boost the performance of existing Seq2Seq models in commit message generation.

研究の動機と目的

• 既存のニューラルモデルが生成する繰り返し的で冗長的、または情報量の少ないコミットメッセージの問題に対処すること。
• 意味的に類似した過去のコミットをエグジンプルとして活用することで、コミットメッセージ生成の正確性と情報量を向上させること。
• 現在の差分と取得したコミットとの間の意味的類似性を学習することで、取得したエグジンプルが誤ったまたは関係のない情報を導入するリスクを軽減すること。
• 再訓練を完全に再開することなく、既存のSeq2Seqモデルをリtrieval増強生成によって強化できるフレームワークを設計すること。
• 多様なプログラミング言語にわたる自動指標と人的評価を通じて、本手法の有効性を検証すること。

提案手法

• コード差分を高次元の意味的空間に埋め込むためのコード差分エンコーダーを学習し、類似度計算に用いる。
• ベクトル類似度（例：コサイン距離）を用いて、大規模な並列コーパスから最も類似したコード差分および関連するコミットメッセージを検索する。
• 取得したコミットメッセージをエグジンプルとして生成プロセスをガイドする。
• 現在のコード差分と取得したエグジンプルとの間の意味的類似性を学習するエグジンプル・ガイドャー・モジュールを導入する。
• 類似度スコアを用いて、生成モデルがエグジンプルに動的に注目するか、それらを条件付けする。これにより、関連性があり正確なメッセージの合成が保証される。
• 既存のSeq2Seqモデル（例：NMTGen、CodeT5、CommitBERT）にリtrieval増強メカニズムを統合し、再訓練を必要とせずに性能を向上させること。

実験結果

リサーチクエスチョン

• RQ1 純粋なニューラルモデルやリtrievalベースのベースラインと比較して、リtrieval増強生成は自動生成されたコミットメッセージの品質と情報量を向上させることができるか？
• RQ2 エグジンプル・ガイドャーは、取得したエグジンプルを現在のコード差分に整合させるために、関係のないまたは誤った情報を導入するリスクを効果的に低減できるか？
• RQ3 RACEは、既存の最先端のSeq2Seqモデルのコミットメッセージ生成性能をどの程度向上させることができるか？
• RQ4 リtrieval増強アプローチは、Java、C#、C++、Python、JavaScriptを含む複数のプログラミング言語に一般化可能か？
• RQ5 人的評価では、RACEが生成するコミットメッセージは、ベースラインと比較して情報量、簡潔さ、表現力の面でどの程度高い評価を受けるか？

主な発見

• RACEは、5つのプログラミング言語を含む大規模データセットにおいて、4つの自動指標（BLEU、Meteor、Rouge-L、Cider）すべてで11の最先端のベースラインを著しく上回った。
• RACEは、NMTGenのBLEUスコアで平均43%、CommitBERTで11%、CodeT5-smallで15%、CodeT5-baseで16%の向上を達成した。
• 人的評価では、RACEは情報量（2.49）、簡潔さ（3.08）、表現力（2.85）の平均スコアが最高であり、すべての向上は統計的に有意（p < 0.05）であった。
• エグジンプル・ガイドャーは、現在の差分と取得したコミットとの間の意味的類似性を学習することで、関係のないまたは誤った情報がエグジンプルから取り入れられるリスクを効果的に低減した。
• フレームワークはプラグイン型の拡張として有効であり、再訓練を完全に再開することなく既存モデルの性能を向上させた。
• 本手法は、5つの多様なプログラミング言語にわたり強い一般化性能を示しており、広範な適用可能性を示している。