[論文レビュー] A Neural Architecture for Generating Natural Language Descriptions from Source Code Changes

Pablo Loyola, Edison Marrese-Taylor+1 more|arXiv (Cornell University)|Apr 17, 2017

Software Engineering Research参考文献 16被引用数 22

ひとこと要約

この論文は、コミットペア（前後）と関連するコミットメッセージを用いて、ソースコードの変更から自然言語の要約を生成する、注目メカニズムを統合したエンコーダ・デコーダ型ニューラルアーキテクチャを提案する。モデルは、プロジェクト内およびプロジェクト間の両設定において、意味的に整合性があり人間が読みやすい要約を生成し、12のオープンソースプロジェクトにわたる多様な環境で汎用性と実現可能性を示した。BLEUスコアは最大34.3、全データセットにおける検証精度は67.15%を達成した。

ABSTRACT

We propose a model to automatically describe changes introduced in the source code of a program using natural language. Our method receives as input a set of code commits, which contains both the modifications and message introduced by an user. These two modalities are used to train an encoder-decoder architecture. We evaluated our approach on twelve real world open source projects from four different programming languages. Quantitative and qualitative results showed that the proposed approach can generate feasible and semantically sound descriptions not only in standard in-project settings, but also in a cross-project setting.

研究の動機と目的

• 静的コード要約から逸脱し、動的プログラム進化を捉えることを目的とした、ソースコード変更の自動要約手法の開発。
• 手作業で特徴を設計しないで、エンド・ツー・エンドのニューラル学習を活用して、意味的に意味のある記述を生成する課題に対処すること。
• 学習とテストが異なるソフトウェアプロジェクトからなされる状況における、モデルの汎用性を評価すること。
• 注目メカニズムが、多様なプログラミング文脈において、コード変更と関連する自然言語語句を効果的に対応付けることができるかを検討すること。
• コード変更の自動文書化を可能とし、システム進化の理解を開発者に向上させること。

提案手法

• モデルは、注目メカニズムを備えたエンコーダ・デコーダアーキテクチャを用い、コード変更と自然言語の記述を対応付ける。
• エンコーダは、2つの連続するコードバージョン間の差分（すなわち、コミット差分）を入力とし、コード変更の高次元表現を学習する。
• デコーダは、エンコーダの文脈ベクトルと注目されたコードトークンに条件づけられ、逐次的に自然言語の記述をトークン単位で生成する。
• 注目メカニズムは、デコード中、関連するコードトークンに動的に焦点を当てるため、コード変更と記述語句の間の対応を向上させる。
• モデルは、実世界のコミットから得た三つ組（前回コード、次回コード、自然言語コミットメッセージ）のデータセットで学習される。
• 本手法は、4つのプログラミング言語で構成される12のオープンソースプロジェクトにおいて、プロジェクト内およびプロジェクト間の両設定で評価される。

実験結果

リサーチクエスチョン

• RQ1 手作業で特徴を設計しないで、ニューラルシーケンス・ツー・シーケンスモデルが、意味的に整合性があり自然言語の要約を生成できるか？
• RQ2 学習データとテストデータが異なるソフトウェアプロジェクトからなるプロジェクト間設定において、モデルの汎用性はどの程度高いか？
• RQ3 コードと自然言語のモodalが著しく異なる状況下でも、注目メカニズムがコード変更の意図をどの程度正しく捉えることができるか？
• RQ4 特にリソースが限られた状況や複雑な変更シナリオにおいて、モデルが再表現能力を示し、記憶に依存しないか？
• RQ5 原子的変更で学習したモデルが、複数ファイルにまたがる変更に対しても意味のある要約を生成できるか？

主な発見

• Guavaプロジェクトの全データセットにおいて、検証精度67.15%、BLEUスコア34.3を達成し、複雑な変更において優れたパフォーマンスを示した。
• プロジェクト間評価では、Pythonプロジェクトにおける「追加のみ」および「削除のみ」の変更に対して、それぞれBLEUスコア14.6および18.9を記録し、ゼロショット設定でも実現可能性を示した。
• 再表現能力が顕著に現れており、Theanoの例では「fix crash in the new warning message」が「Better warning message」と要約された。
• 注目ヒートマップから、モデルが「warning」と「message」のような意味のある語句と、関連するコードトークンを効果的に対応付けていたことが明らかになった。
• 特定の数字や名前のような不適切な語句を避け、一般的で関連性のある要約を生成するという点で、モデルの頑健性が確認された。
• youtube-dlのような事例では一部記憶が見られたが、大多数の生成要約は参照要約と意味的に強く相関していた。