[論文レビュー] Contextualized Code Representation Learning for Commit Message Generation

Lun Yiu Nie, Cuiyun Gao+4 more|arXiv (Cornell University)|Jul 14, 2020

Software Engineering Research参考文献 37被引用数 10

ひとこと要約

この論文では、コンテキストに応じたコード表現学習手法であるCoreGenを提案する。Transformerベースのモデルを活用して、コミットシーケンスからコンテキストに配慮したコード表現を捉えることで、コミットメッセージ生成の性能を顕著に向上させる。静的表現ではなく動的でコンテキストに敏感なコード埋め込みを組み込むことで、ベースラインモデル比でBLEU-4スコアが28.18%向上した。

ABSTRACT

Automatic generation of high-quality commit messages for code commits can substantially facilitate developers' works and coordination. However, the semantic gap between source code and natural language poses a major challenge for the task. Several studies have been proposed to alleviate the challenge but none explicitly involves code contextual information during commit message generation. Specifically, existing research adopts static embedding for code tokens, which maps a token to the same vector regardless of its context. In this paper, we propose a novel Contextualized code representation learning method for commit message Generation (CoreGen). CoreGen first learns contextualized code representation which exploits the contextual information behind code commit sequences. The learned representations of code commits built upon Transformer are then transferred for downstream commit message generation. Experiments on the benchmark dataset demonstrate the superior effectiveness of our model over the baseline models with an improvement of 28.18% in terms of BLEU-4 score. Furthermore, we also highlight the future opportunities in training contextualized code representations on larger code corpus as a solution to low-resource settings and adapting the pretrained code representations to other downstream code-to-text generation tasks.

研究の動機と目的

• コミットメッセージ生成におけるソースコードと自然言語の意味的ギャップを解消すること。
• コードトークンの文脈的ニュアンスを捉えられない静的コード埋め込みの限界を克服すること。
• コミットシーケンスからコンテキストに応じたコード表現を学習する手法を開発し、その後続のメッセージ生成を改善すること。
• コンテキストに応じたコード表現が、自動コミットメッセージ生成の質を向上させることの有効性を実証すること。
• 低リソース環境における性能向上を図るため、より大きなコードコーパスでの事前学習の可能性を検討すること。

提案手法

• コードトークンのシーケンスにおける依存関係をモデル化することで、コミットのコード表現をコンテキストに応じて学習するTransformerベースのアーキテクチャを活用する。
• コミットシーケンスで学習することで、文法的・意味的文脈を捉え、文脈に応じて変化する動的コードトークン埋め込みを可能にする。
• 学習済みのコード表現を、ダウンストリームのコミットメッセージ生成モデルに転移し、エンドツーエンドの学習を実現する。
• アテンション機構を備えたシーケンス・ツー・シーケンスモデリングを用いて、コンテキストに応じたコード表現から自然言語のコミットメッセージを生成する。
• 大規模なコードコーパスでの事前学習を活用し、特に低リソース状況において表現の質を向上させる。
• ベンチマークデータセットで微調整を行い、BLEU-4およびその他の生成指標を最適化する。

実験結果

リサーチクエスチョン

• RQ1 コミットシーケンスから学習したコンテキストに応じたコード表現は、自動生成されたコミットメッセージの質を向上させることができるか？
• RQ2 CoreGenのアプローチは、静的コード埋め込みを用いるモデルと比較して、生成性能においてどのように差がつくか？
• RQ3 より大きなコードコーパスでの事前学習は、低リソース環境におけるコミットメッセージ生成の性能をどの程度向上させられるか？
• RQ4 学習されたコンテキストに応じたコード表現は、他のコードからテキストへの生成タスクにも効果的に転送可能か？
• RQ5 コードコミットにおける順序的文脈をモデル化することで、生成されたメッセージの流暢さと関連性はどの程度向上するか？

主な発見

• CoreGenは、ベースラインモデル比でBLEU-4スコアに28.18%の向上を達成し、コミットメッセージ生成における顕著な性能向上を示した。
• コンテキストに応じたコード表現の使用により、静的埋め込みと比較して、より意味的に正確で文脈に適ったコミットメッセージが生成された。
• 転移学習によりモデルの性能が向上し、特に低リソース状況において、より大きなコードコーパスでの事前学習が一般化性能を向上させることを示した。
• コンテキストに応じた表現は、コードコミット内での文法的・意味的依存関係を効果的に捉えており、自然言語の記述とより良い一致を実現した。
• モデルは強力な転送性を示しており、コードドキュメンテーションやイシュー要約などの他のコードからテキストへの生成タスクへの適応可能性を示唆している。
• 固定の埋め込みではなく、動的にコードの文脈をモデル化することが、高品質なコミットメッセージ生成にとって不可欠であることが実証された。