[論文レビュー] ATOM: Commit Message Generation Based on Abstract Syntax Tree and Hybrid Ranking

Shangqing Liu, Cuiyun Gao+3 more|arXiv (Cornell University)|Dec 6, 2019

Software Engineering Research参考文献 71被引用数 14

ひとこと要約

本論文では、コードの意味を捉えるために抽象構文木（AST）を活用し、取得したメッセージと生成されたメッセージをハイブリッドランク付けモジュールで統合する、コミットメッセージ生成モデルATOMを提案する。56の一般的なJavaリポジトリから構築されたデータセットにおいて、BLEU-4でSOTAモデル比30.72%の性能向上を達成した。

ABSTRACT

Commit messages record code changes (e.g., feature modifications and bug repairs) in natural language, and are useful for program comprehension. Due to the frequent updates of software and time cost, developers are generally unmotivated to write commit messages for code changes. Therefore, automating the message writing process is necessitated. Previous studies on commit message generation have been benefited from generation models or retrieval models, but the code structure of changed code, i.e., AST, which can be important for capturing code semantics, has not been explicitly involved. Moreover, although generation models have the advantages of synthesizing commit messages for new code changes, they are not easy to bridge the semantic gap between code and natural languages which could be mitigated by retrieval models. In this paper, we propose a novel commit message generation model, named ATOM, which explicitly incorporates the abstract syntax tree for representing code changes and integrates both retrieved and generated messages through hybrid ranking. Specifically, the hybrid ranking module can prioritize the most accurate message from both retrieved and generated messages regarding one code change. We evaluate the proposed model ATOM on our dataset crawled from 56 popular Java repositories. Experimental results demonstrate that ATOM increases the state-of-the-art models by 30.72% in terms of BLEU-4 (an accuracy measure that is widely used to evaluate text generation systems). Qualitative analysis also demonstrates the effectiveness of ATOM in generating accurate code commit messages.

研究の動機と目的

• 開発者の時間的制約や標準化の欠如による低品質または欠落したコミットメッセージの課題に対処すること。
• 抽象構文木（AST）を用いてコード構造を明示的にモデル化することで、コミットメッセージ生成を改善すること。
• リtrieバルベースと生成ベースのアプローチを組み合わせることで、コード変更と自然言語の間の意味的ギャップを埋めること。
• 取得した候補と生成された候補の両方から最も正確なメッセージを選択するハイブリッドランク付けメカニズムを開発すること。

提案手法

• ATOMは、コード変更をASTパスとして符号化することで、構文的および意味的構造を捉え、平坦なトークン列を超えたコード表現を向上させる。
• 自然言語翻訳（NMT）モデルを用いて、ASTで符号化されたコード変更からコミットメッセージを生成する。
• 差分ベクトルの類似度に基づいて、大規模データセットから類似したコミットメッセージを情報検索的手法で取得する。
• ハイブリッドランク付けモジュールは、リtrieバルモデルと生成モデルのスコアを統合し、各コード変更に対して最も正確なメッセージを優先的に選択する。
• モデルは、実世界のコミット変更に焦点を当てた、56の一般的なJavaリポジトリから構築されたカスタムデータセット上で訓練および評価される。
• BLEU-4は、SOTAモデルとの性能比較のための主な評価指標として用いられる。

実験結果

リサーチクエスチョン

• RQ1 平坦なトークン列と比較して、ASTに基づくコード表現はコミットメッセージ生成の正確性を向上させるか？
• RQ2 リtrieバルベースと生成ベースのアプローチの統合は、コードと自然言語の間の意味的ギャップをどれほど効果的に低減できるか？
• RQ3 ハイブリッドランク付けメカニズムは、独立したリtrieバルまたは生成モデルを上回る性能を示せるか？
• RQ4 AST構造を組み込むことで、未知のコード変更に対するモデルの一般化能力はどの程度向上するか？

主な発見

• ATOMはSOTAモデル比でBLEU-4で30.72%の向上を達成し、顕著な性能向上を示した。
• コード表現にASTパスを用いることで、コード変更における構文的および意味的情報の捉えが向上した。
• ハイブリッドランク付けモジュールは、取得したメッセージと生成されたメッセージを効果的に統合し、単独の手法よりもより正確な出力を選択できた。
• 定性的分析により、ベースラインモデルと比較して、ATOMはより正確で文脈的に関連性の高いコミットメッセージを生成することが確認された。
• モデルはリtrieバルベース（NNGen）および生成ベース（NMT）モデルをすべて上回り、ハイブリッドアプローチの有効性を示した。
• 本手法は、生産用のJavaリポジトリからの実世界のコード変更に対しても頑健であり、実用的応用の妥当性が裏付けられた。