[論文レビュー] Code Attention: Translating Code to Comments by Exploiting Domain Features

Wenhao Zheng, Hong-Yu Zhou+2 more|arXiv (Cornell University)|Sep 22, 2017

Software Engineering Research参考文献 31被引用数 12

ひとこと要約

本稿では、識別子、記号、プログラム構造などのドメイン固有の特徴を明示的にモデル化することで、コードからコメントを生成する際の性能を向上させる、新しいアテンションメカニズム「Code Attention」を提案する。この手法は、シーケンス・トゥ・シーケンスRNNフレームワークにこれらの特徴を統合することで、BLEU、METEOR、人的評価のすべてにおいて最先端の性能を達成し、従来の手法を上回っている。これは、より大きな規模の新しいデータセットC2CGit上で得られた結果である。

ABSTRACT

Appropriate comments of code snippets provide insight for code functionality, which are helpful for program comprehension. However, due to the great cost of authoring with the comments, many code projects do not contain adequate comments. Automatic comment generation techniques have been proposed to generate comments from pieces of code in order to alleviate the human efforts in annotating the code. Most existing approaches attempt to exploit certain correlations (usually manually given) between code and generated comments, which could be easily violated if the coding patterns change and hence the performance of comment generation declines. In this paper, we first build C2CGit, a large dataset from open projects in GitHub, which is more than 20$ imes$ larger than existing datasets. Then we propose a new attention module called Code Attention to translate code to comments, which is able to utilize the domain features of code snippets, such as symbols and identifiers. We make ablation studies to determine effects of different parts in Code Attention. Experimental results demonstrate that the proposed module has better performance over existing approaches in both BLEU and METEOR.

研究の動機と目的

• オープンソースコードにおける適切なコメントの不足が、プログラムの理解や保守を困難にしているという問題に対処すること。
• 変化するコーディングパターンに対して壊れやすい、固定された手動で定義されたコード-コメント相関に依存する従来のコメント生成手法の限界を克服すること。
• コードの内在的ドメイン特徴を活用することで、より堅牢で汎用性の高いコード-コメント翻訳アプローチを構築すること。
• 今後のコードコメント生成分野の研究を支援・検証するための大規模かつ現実世界のベンチマークデータセットを構築すること。
• コード構造や意味的特徴を明示的にモデル化することで、より正確で機能的に正しいコメントが生成されることを示すこと。

提案手法

• 識別子、記号、制御構造などのドメイン固有の特徴をアテンション計算に統合する、新しいアテンションメカニズム「Code Attention」を提案する。
• 3段階のプロセスを設計：意味のあるトークンを優先する「識別子順序付け」、コード要素を埋め込む「トークンエンコーディング」、コード特徴と自然言語出力の対応をとる「グローバルアテンション」。
• ビームサーチ推論を用いた3層RNNエンコーダ-デコーダアーキテクチャを採用し、確率的勾配降下法を用いてC2CGitデータセット上で学習する。
• 可変長のコード・コメントペアを処理するためにバケット化を適用し、10-fold交差検証により最適なバケットサイズ（40,15）、（55,20）、（70,40）、（220,60）を選定した。
• 学習の安定性と収束性を向上させるために、適応的学習率減衰（初期値0.5、3,000ステップごとに0.99に減衰）を適用した。
• 意味的・構文的パターンを捉えるために、512次元の事前学習済み単語埋め込みと1024次元の隠れ層ユニットを活用した。

実験結果

リサーチクエスチョン

• RQ1 識別子や記号といったコード固有の特徴を明示的にモデル化するニューラルアテンションメカニズムは、コードからコメントを生成する性能を向上させることができるか？
• RQ2 アテンションメカニズムにプログラム構造（例：ループ、条件分岐）を組み込むことで、より機能的に正確なコメントが得られるか？
• RQ3 提案手法の性能は、自動評価指標および人的評価の両方において、既存のベースラインと比較してどのように異なるか？
• RQ4 C2CGitのような大規模で現実世界のデータセットは、コードコメント生成モデルの汎化性能と信頼性をどの程度向上させるか？
• RQ5 Code Attentionモジュール内の各コンponentが全体の性能にどの程度寄与しているか？

主な発見

• 提案されたCode Attentionモデルは、自動評価指標においてもすべてのベースラインを上回り、最先端の性能を達成した。
• 人的評価の結果、Code Attentionが生成するコメントは、既存手法に比べて機能的により正確で、コードの意味と整合性が高いことが確認された。
• アブレーションスタディの結果、Code Attentionの各コンponent（識別子順序付け、トークンエンコーディング、グローバルアテンション）が性能向上に顕著な寄与をしていることが示された。
• C2CGitデータセットは1,000以上のオープンソースプロジェクトを含み、従来のベンチマークよりも20倍以上も大きい。これにより、より堅牢なモデル評価が可能になった。
• モデルは単純なモデルが見逃す構造的意味論（例：'swap'と'shift'の区別）を正しく反映したコメントを生成した。
• 1台のNVIDIA K80 GPUで約3日間、90,000イテレーションの学習が行われた。これは、このアーキテクチャの学習効率が実用的であることを示している。