[論文レビュー] Retrieve and Refine: Exemplar-based Neural Comment Generation

Bolin Wei|arXiv (Cornell University)|Oct 23, 2019

Software Engineering Research参考文献 52被引用数 6

ひとこと要約

本論文は、コードベースから意味的に類似したコード-コメントペアを検索し、アテンションと類似性ゲーティングを備えたシーケンス・トゥ・シーケンスモデルでそれを精錬することで、新しい例示ベースのニューラルコメント生成モデルを提案する。この手法は、最先端の手法を著しく上回り、大規模なJavaデータセットにおいて43.78のBLEUおよび28.12のMETEORスコアを達成した。

ABSTRACT

Code comment generation is a crucial task in the field of automatic software development. Most previous neural comment generation systems used an encoder-decoder neural network and encoded only information from source code as input. Software reuse is common in software development. However, this feature has not been introduced to existing systems. Inspired by the traditional IR-based approaches, we propose to use the existing comments of similar source code as exemplars to guide the comment generation process. Based on an open source search engine, we first retrieve a similar code and treat its comment as an exemplar. Then we applied a seq2seq neural network to conduct an exemplar-based comment generation. We evaluate our approach on a large-scale Java corpus, and experimental results demonstrate that our model significantly outperforms the state-of-the-art methods.

研究の動機と目的

• 既存のニューラルコメント生成モデルが短い、退化した、または低品質なコメントを生成するという限界を是正するため、ソフトウェア再利用の原則を統合すること。
• 意味的に類似したコードからのコメントを例示として活用することで、コメント生成の制御性と品質を向上させること。
• 手動でテンプレートを設計する依存を減らし、実世界のコードコメントを動的テンプレートとして使用すること。
• 検索とニューラル精錬を組み合わせた手法を開発し、より正確で文脈的に関連性の高いコメントを生成すること。

提案手法

• トークンレベルの類似性に基づき、トレーニングコーパスから最も類似したコードスニペットを検索するために、オープンソースの検索エンジン（Lucene）を使用する。
• 検索されたコードのコメントを例示として生成プロセスをガイドする。
• 入力コード、類似コード、例示コメントをそれぞれエンコードする3つのエンコーダを備えたseq2seqモデルを採用し、文脈的な特徴ベクトルを生成する。
• 非線形なシグモイド関数を用いて、入力コードと類似コードの間の類似度スコア $ s $ を計算し、アテンションの調節に使用する。
• デコーダの初期隠れ状態をゲーティングする：$ extbf{h}^x(1-s) + extbf{h}^y s $、ここで $ extbf{h}^x $ と $ extbf{h}^y $ はそれぞれ入力コードと例示コメントの最終隠れ状態である。
• 入力コードと例示コメントのトークンから得られるコンテキストベクトルを、類似度スコア $ s $ で重み付けして計算するアテンション機構を適用する。

実験結果

リサーチクエスチョン

• RQ1 意味的に類似したコードを検索し、そのコメントを例示として使用することで、ニューラルコメント生成の品質が向上するか？
• RQ2 例示ベースの精錬は、エンドツーエンドのseq2seqモデルと比較して、より長く意味のあるコメントを生成するか？
• RQ3 入力コードと類似コードの間の類似度スコアが、生成コメントの品質にどの程度影響を及えるか？
• RQ4 例示ベースの生成は、繰り返しトークンや非常に短いコメントといった退化出力を軽減できるか？

主な発見

• 提案手法は、Javaデータセットにおいて43.78のBLEUスコアおよび28.12のMETEORスコアを達成し、すべてのベースラインを著しく上回った。
• HAD（前回の最先端手法）と比較して、BLEUスコアが約10ポイント向上した。
• 退化出力を低減した：HADとは異なり、70個を超える予測で繰り返しトークンが発生しなかった。提案手法はより多様で整合性のあるコメントを生成した。
• ヴァナイルなseq2seqモデルと比較して、本手法の性能は顕著に優れており、例示が生成品質向上の鍵要因であることを確認した。
• 今後の研究では人間による評価を推奨する。現在のメトリクス（BLEU、METEOR）は、ソフトウェア開発における実際の有用性を完全に反映していない可能性がある。