[論文レビュー] CommitBART: A Large Pre-trained Model for GitHub Commits

Shangqing Liu, Yanzhou Li+2 more|arXiv (Cornell University)|Aug 17, 2022

Software Engineering Research被引用数 9

ひとこと要約

CommitBART は、7.99百万件のGitHubコマンドを7つのプログラミング言語でカバーするベンチマークで微調整された大規模な事前学習エンコーダーデコーダー変換モデルです。6つの事前学習タスクを通じて、ノイズ除去、クロスモーダル生成、対照的学習の目的関数を用い、コミット理解および生成タスク（コミットメッセージ生成、更新されたコードスニペット生成を含む）で最先端の性能を達成しています。

ABSTRACT

GitHub commits, which record the code changes with natural language messages for description, play a critical role for software developers to comprehend the software evolution. To promote the development of the open-source software community, we collect a commit benchmark including over 7.99 million commits across 7 programming languages. Based on this benchmark, we present CommitBART, a large pre-trained encoder-decoder Transformer model for GitHub commits. The model is pre-trained by three categories (i.e., denoising objectives, cross-modal generation and contrastive learning) for six pre-training tasks to learn commit fragment representations. Furthermore, we unify a ``commit intelligence'' framework with one understanding task and three generation tasks for commits. The comprehensive experiments on these tasks demonstrate that CommitBARTsignificantly outperforms previous pre-trained works for code. Further analysis also reveals each pre-training task enhances the model performance.

研究の動機と目的

• ソフトウェア工学分野における専用モデルの学習に向けた大規模かつ公開可能なコミットデータの不足に対処する。
• コードと自然言語の意味的特徴を両方とも捉えるように特化した、GitHubコマンド向けに設計された事前学習モデルを開発する。
• コミット理解と生成の両方を支援する統合的「コミットインテリジェンス」フレームワークを統合する。
• 多目的事前学習を通じて、コミット関連の自然言語処理タスクの性能を向上させる。
• コードインテリジェンス分野の研究を促進するため、大規模なコミットベンチマークとモデルを公開する。

提案手法

• C、CSharp、Java、JavaScript、PHP、Python、TypeScriptの7つのプログラミング言語で、上位500のGitHubプロジェクトから7.99百万件のコミットを収集してベンチマークを構築する。
• ノイズ除去（テキスト埋め込みとグラフ誘導型トークンマスキング）、クロスモーダル生成（PL2NL および PLNL2PL）、対照的学習（NLPLアライメントとSimCSE）の3つの目的カテゴリを用いて、CommitBARTの設計および事前学習を行う。
• コード変更とコミットメッセージの間の意味的整合性を向上させるために、グラフ誘導型トークンマスキングを採用し、両者に共通するトークンを予測する。
• コード変更からコミットメッセージを予測するPL2NL生成と、以前のコードとコミットメッセージから更新されたコードを予測するPLNL2PL生成を実装する。
• ドロップアウトを用いた符号化による拡張を活用し、NLPLアライメントによる対照的学習でコードとメッセージの埋め込みをアライメントさせ、SimCSEで意味的に同等の表現を学習する。
• セキュリティパッチ特定（理解）およびコミットメッセージ生成、ポジティブなコードステートメント生成、更新されたコードスニペット生成を含む、下流タスクでCommitBARTを微調整する。

実験結果

リサーチクエスチョン

• RQ1 大規模かつコミット特化型の事前学習モデルは、汎用的なコードモデルと比較して、コミット関連の自然言語処理タスクの性能を顕著に向上させることができるか？
• RQ2 ノイズ除去、クロスモーダル生成、対照的学習といった異なる事前学習目的関数は、コミット表現学習の向上にどの程度効果的か？
• RQ3 グラフ誘導型トークンマスキングは、コミットメッセージとコード変更の間の意味的整合性をどの程度向上させるか？
• RQ4 統合された「コミットインテリジェンス」フレームワークは、多様な下流タスクを強力な汎化性能でサポートできるか？
• RQ5 機能的正しさと意味的正確性を要する生成タスクにおいて、CommitBARTの性能はどの程度か？

主な発見

• CommitBARTは、セキュリティパッチ特定やコミットメッセージ生成を含む、全評価タスクで最先端の性能を達成しており、UniXcoder や Incr-PLBART といった先行モデルを上回っている。
• アブレーションスタディの結果、PLNL2PL生成タスクを削除すると、7言語にわたる更新コードスニペット生成のBLEU-4スコアが57.63から53.70に低下する。
• グラフ誘導型トークンマスキングは生成タスクの性能を顕著に向上させ、コードと自然言語の間の意味的ギャップを低減する有効性を示している。
• 対照的学習の2つの目的（NLPLアライメントとSimCSE）は、両方ともモデル性能に有意義な貢献をしており、埋め込み品質の向上に寄与している。
• 事例スタディでは、CommitBARTが「xray.backends」のような正確なパッケージ名をコミットメッセージに生成している一方で、ベースラインモデルは失敗しており、優れた意味的特徴抽出能力を示している。
• セグメント埋め込みが有益であることが判明しており、メッセージとコード変更といった複数のコンponentを含むコミットの複雑な構造によるものと推測される。