[論文レビュー] Automatic Generation of Text Descriptive Comments for Code Blocks

Yuding Liang, Kenny Q. Zhu|arXiv (Cornell University)|Aug 21, 2018

Software Engineering Research参考文献 23被引用数 14

ひとこと要約

本論文は、構文木（AST）を再帰的に走査することで構造的・意味的特徴を捉える新しい再帰的ニューラルネットワーク（Code-RNN）を用い、その後に自然言語コメントを生成するカスタムGRUベースの生成モデル（Code-GRU）を採用することで、テンプレートに依存しないフレームワークを提案する。このアプローチは、先行する学習ベースおよびテンプレートベースの手法を著しく上回る、最先端のRouge-2スコアを達成した。

ABSTRACT

We propose a framework to automatically generate descriptive comments for source code blocks. While this problem has been studied by many researchers previously, their methods are mostly based on fixed template and achieves poor results. Our framework does not rely on any template, but makes use of a new recursive neural network called Code-RNN to extract features from the source code and embed them into one vector. When this vector representation is input to a new recurrent neural network (Code-GRU), the overall framework generates text descriptions of the code with accuracy (Rouge-2 value) significantly higher than other learning-based approaches such as sequence-to-sequence model. The Code-RNN model can also be used in other scenario where the representation of code is required.

研究の動機と目的

• 実世界のソフトウェアリポジトリにおけるコメントの不足および低品質という深刻な問題に対処し、コードの理解および検索を妨げる要因を軽減すること。
• 繰り返し発生しやすく文脈に依存しない、意味的カバレッジが低いコメントを生成するという、テンプレートベース手法の限界を克服すること。
• コードブロックの文法的構造と意味的意味を両方効果的に捉える深層学習フレームワークを開発し、コメント生成の質を向上させること。
• コード分類やリtrievalなど、コメント生成を超えた応用にも適用可能な汎用的コード表現手法（Code-RNN）を構築すること。

提案手法

• コードの抽象構文木（AST）を葉から根へ走査することで、構造的および意味的特徴をエンコードするベクトル表現を学習する新しい再帰的ニューラルネットワーク（Code-RNN）を設計する。
• Code-RNNを用いて、コードブロックの密集したベクトル埋め込み表現を生成し、それぞれのベクトルがコードの機能的意図と文法的構造を捉えるようにする。
• Code-RNNの意味的ベクトルをより効果的に活用するように特化した、新しいゲート付き再帰ユニット（GRU）の変種、Code-GRUを導入する。
• コード埋め込みから自然言語コメントを生成するため、シーケンス・ツー・シーケンス学習を用いてCode-GRUモデルをエンド・ツー・エンドで訓練する。
• アーキテクチャ設計によって、コードの意味と生成されたコメント語の間で暗黙的にアテンション機構を実装し、対応を図る。
• 10の活発なJavaリポジトリを用いてフレームワークを評価し、コメント品質の評価にRouge-2を主な指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースのアプローチは、テンプレートベースのシステムに比べて、より正確で多様性のあるコメントを生成できるか？
• RQ2 再帰的ニューラルネットワーク（Code-RNN）は、表現学習のためのコードの構造的および意味的特徴をどの程度効果的に捉えられるか？
• RQ3 コード埋め込みを条件として与えた場合、標準的なRNNと比較して、特化したGRUアーキテクチャ（Code-GRU）はコメント生成の質を向上させるか？
• RQ4 本研究で提案するフレームワークは、多様なオープンソースJavaプロジェクトにおいて、最先端の手法と比較してRouge-2スコアでどの程度優れているか？

主な発見

• 提案フレームワークは、既存の学習ベースおよびテンプレートベースの手法に比べ、顕著に高いRouge-2スコアを達成し、優れたコメント生成の正確性を示した。
• 10の活発なJavaリポジトリにおいて平均的に、最先端モデルを上回った。特に大多数のプロジェクトで最高のRouge-2スコアを記録した。
• Code-RNNモデルはASTを走査することで、テンプレートに依存せずに、コードの文法的および意味的特徴を効果的に捉え、意味的なベクトル表現を生成した。
• Code-GRU生成モデルは、コード埋め込みを効果的に活用し、繰り返し発生しやすいテンプレートベースシステムとは異なり、滑らかで文脈に適したコメントを生成した。
• パースツリーが利用可能な限り、他のプログラミング言語に対しても汎用的に適用可能であるため、Javaに限らず広範な応用が期待できる。