[論文レビュー] Comment Generation for Source Code: State of the Art, Challenges and Opportunities

Xiaoran Wang, Benwen Zhang|arXiv (Cornell University)|Jan 5, 2018

Software Engineering Research参考文献 37被引用数 4

ひとこと要約

本サーベイは、ソースコードのコメント生成分野における最新の動向を要約し、情報検索、プログラム構造の分析、外部ソフトウェアアーティファクトの利用の3つに分類してアプローチを整理している。主な課題として、ラベル付きデータの不足、意図を反映したコメントの生成が限定的であること、評価の不整合性が挙げられ、一方でディープラーニング、教師なし手法、カスタマイズ可能なコメントモデルの分野における機会が浮き彫りになっている。

ABSTRACT

Researches have shown that most effort of today's software development is maintenance and evolution. Developers often use integrated development environments, debuggers, and tools for code search, testing, and program understanding to reduce the tedious tasks. One way to make software development more efficient is to make the program more readable. There have been many approaches proposed and developed for this purpose. Among these approaches, comment generation for source code is gaining more and more attention and has become a popular research area. In this paper, the state of art in comment generation research area are summarized and the challenges and future opportunities are discussed.

研究の動機と目的

• ソースコードコメント生成分野における現在の技術を包括的に概説すること。
• データ品質、評価の標準化、コメントタイプの制限といった重要な課題を特定すること。
• ディープラーニングおよび教師なし手法を活用してコメント生成を進歩させることの機会を検討すること。
• 記述的要約を超えた意図を反映したコメントの生成におけるギャップを強調すること。
• 再現性の向上と手法間の比較を可能にするために、標準化されたベンチマークと高品質なトレーニングデータセットの導入を提言すること。

提案手法

• コメント生成技術を3つの主要なクラスに分類する：情報検索、プログラム構造の分析、外部ソフトウェアアーティファクトの利用。
• コードを「語の袋（bag of words）」として扱い、関連する語句や語を検索する情報検索手法をレビューする。
• データフローグラフやハイレベルなアクションテンプレートといったプログラム構造を用いたアプローチを分析し、自然言語による要約を生成する。
• Stack Overflow やコミットログ、バグレポートといった外部アーティファクトを活用して、コメント生成を豊かにする手法を検討する。
• コード識別子に特化したPOSタギング、意味的類似度、語の共起モデルといった基本的なNLP技術を評価する。
• RNN などの教師なしおよびシーケンスベースのモデルの潜在的可能性について議論するが、この分野への応用は限定的である。

実験結果

リサーチクエスチョン

• RQ1 ソースコードコメント生成で用いられる支配的技術的アプローチは何か。それらは設計や応用においてどのように異なるか。
• RQ2 なぜ現在のコメント生成は記述的コメントに限定されているのか。意図を反映したコメントや設計レベルのコメントを生成できない理由は何か。
• RQ3 コメント生成のための標準化された評価ベンチマークと高品質なトレーニングデータセットを構築する上で直面する主な課題は何か。
• RQ4 教師なしおよびディープラーニング技術（例：RNN）をどのように活用すれば、コメント生成の質と一般化性能を向上させられるか。
• RQ5 フォーラム投稿やコミットメッセージといった外部ソフトウェアアーティファクトを、ソースコード以外の情報として活用することで、コメント生成にどの程度の恩恵が得られるか。

主な発見

• 情報検索ベースの手法は、コードを語の袋として扱い、文法的構造や完全な文を持たないキーワードに似た語句を生成する。
• プログラム構造ベースの手法は、データフロー解析やハイレベルなアクションテンプレートを用いて、より一貫性のあるコメントを生成するが、ループや条件分岐といった特定のコード構造に限定される。
• 外部アーティファクトベースのアプローチ、例えばStack Overflowのマイニングは、人間が書いたコード-コメントペアをトレーニングや推論に再利用する点で有望である。
• 技術の進展にもかかわらず、要約や翻訳などの他のNLPタスクで優れた性能を示すRNNが、コメント生成分野への応用はまだなされていない。
• 高品質でラベル付きのデータセットの不足が、主なバリアントとなっており、これは教師あり学習の採用を制限し、手法間の公平な比較を困難にしている。
• 現在の評価は人間の判断に大きく依存しており、再現性を損なうとともに、標準化されたメトリクスの開発を妨げている。