[論文レビュー] Automatic Code Summarization: A Systematic Literature Review

Yuxiang Zhu, Minxue Pan|arXiv (Cornell University)|Sep 10, 2019

Natural Language Processing Techniques参考文献 16被引用数 23

ひとこと要約

本システマティックレビューは、41件の自動コード要約に関する研究を分析し、データ抽出、コード記述生成手法、評価手法、およびアーティファクトを評価している。本研究は、最先端のアプローチの包括的概要を提示し、研究ギャップを特定し、ソフトウェア工学におけるプログラム理解およびコメント生成の今後の方向性を示している。

ABSTRACT

Background: During software maintenance and development, the comprehension of program code is key to success. High-quality comments can help us better understand programs, but they're often missing or outmoded in today's programs. Automatic code summarization is proposed to solve these problems. During the last decade, huge progress has been made in this field, but there is a lack of an up-to-date survey. Aims: We studied publications concerning code summarization in the field of program comprehension to investigate state-of-the-art approaches. By reading and analyzing relevant articles, we aim at obtaining a comprehensive understanding of the current status of automatic code summarization. Method: In this paper, we performed a systematic literature review over the automatic source code summarization field. Furthermore, we synthesized the obtained data and investigated different approaches. Results: We successfully collected and analyzed 41 selected studies from the different research communities. We exhaustively investigated and described the data extraction techniques, description generation methods, evaluation methods and relevant artifacts of those works. Conclusions: Our systematic review provides an overview of the state of the art, and we also discuss further research directions. By fully elaborating current approaches in the field, our work sheds light on future research directions of program comprehension and comment generation.

研究の動機と目的

• 自動コード要約における最新の状態を調査すること。
• ソフトウェアシステムにおけるコメントの欠落や古くなったコメントによるプログラム理解の課題を特定すること。
• ソフトウェア工学分野の多様な研究コミュニティにわたる41件の研究から得られた知見を統合すること。
• コード要約研究で用いられるデータ抽出技術、記述生成手法、評価戦略を評価すること。
• 分野における特定されたギャップとトレンドに基づき、今後の研究方向性を提言すること。

提案手法

• 学術データベースおよびリポジトリを対象に、事前に定義された検索基準を用いたシステマティックレビューを実施した。
• コード要約およびプログラム理解に関連する包含・除外基準に基づき、41件の関連研究を選定した。
• 研究コミュニティ、データソース、モデルアーキテクチャ、評価指標ごとに研究を分類した。
• ASTベース、埋め込みベース、自然言語処理手法を含む、データ抽出技術を分析した。
• seq2seqモデル、アテンション機構、事前学習モデルなどのコード記述生成手法に関する知見を統合した。
• BLEU、ROUGE、人的評価を含む、評価プロトコルの質と一貫性を評価した。

実験結果

リサーチクエスチョン

• RQ1 自動コード要約研究で一般的に用いられる主なデータソースと前処理技術は何か？
• RQ2 異なるモデルアーキテクチャは、さまざまなプログラミング言語においてコード要約のパフォーマンスにどのように寄与しているか？
• RQ3 最も一般的に使われる評価指標は何か？また、それらは要約の質に関する人的判断とどの程度相関しているか？
• RQ4 現在のコード要約アプローチにおける主な課題と制限は何であるか？
• RQ5 既存の文献の統合から示唆される今後の研究方向性は何か？

主な発見

• 本レビューでは、過去10年間で自動コード要約分野に顕著な進展が見られた41件の研究を同定した。
• アテンション機構を備えたseq2seqモデルが、コード要約の分野で最も広く採用されているアーキテクチャである。
• CodeBERT や GraphCodeBERT などの事前学習モデルは、コード要約ベンチマークで優れたパフォーマンスを示している。
• BLEU および ROUGE は依然として最も頻繁に使用される自動評価指標であるが、人的判断との相関は限定的である。
• 人的評価は、生成された要約の意味的質を評価する上で重要であるが、実際にはあまり使われていない。
• 標準化されたデータセットや評価プロトコルの欠如が、再現性および研究間比較を妨げている。