[論文レビュー] EditSum: A Retrieve-and-Edit Framework for Source Code Summarization

Jia Li, Yongmin Li+4 more|arXiv (Cornell University)|Aug 26, 2023

Software Engineering ResearchComputer Science参考文献 30被引用数 3

ひとこと要約

EditSumは、入力コードの意味的キーワードと類似コード要約（プロトタイプ）から得られるパターン語を組み合わせることで、情報量を向上させるリトリーブ・エディットフレームワークを提案する。プロトタイプを構造的テンプレートとして扱い、入力コードの意味を用いて編集することで、200万件のJavaコーパスにおいて最先端のモデルを上回り、より情報量が多くキーワードを多く含む、人間評価でも優れたスコアを達成する要約を生成する。

ABSTRACT

Existing studies show that code summaries help developers understand and maintain source code. Unfortunately, these summaries are often missing or outdated in software projects. Code summarization aims to generate natural language descriptions automatically for source code. Code summaries are highly structured and have repetitive patterns. Besides the patternized words, a code summary also contains important keywords, which are the key to reflecting the functionality of the code. However, the state-of-the-art approaches perform poorly on predicting the keywords, which leads to the generated summaries suffering a loss in informativeness. To alleviate this problem, this paper proposes a novel retrieve-and-edit approach named EditSum for code summarization. Specifically, EditSum first retrieves a similar code snippet from a pre-defined corpus and treats its summary as a prototype summary to learn the pattern. Then, EditSum edits the prototype automatically to combine the pattern in the prototype with the semantic information of input code. Our motivation is that the retrieved prototype provides a good start-point for post-generation because the summaries of similar code snippets often have the same pattern. The post-editing process further reuses the patternized words in the prototype and generates keywords based on the semantic information of input code. We conduct experiments on a large-scale Java corpus and experimental results demonstrate that EditSum outperforms the state-of-the-art approaches by a substantial margin. The human evaluation also proves the summaries generated by EditSum are more informative and useful. We also verify that EditSum performs well on predicting the patternized words and keywords.

研究の動機と目的

• コード要約における低頻度で機能的に重要なキーワードの予測性能が低い、最先端のニューラルモデルの課題を解決すること。
• 類似コードスニペットからの再利用可能なパターンを活用することで、自動生成されたコード要約の情報量と構造的質を向上させること。
• リトリーブベースのパターン学習と意味的編集を組み合わせた、より優れた要約生成のためのフレームワークを設計すること。
• 手動でのテンプレート作成に依存することを減らしながら、高い要約品質とプロジェクト間での再利用性を維持すること。

提案手法

• リトリーブモジュールは、意味的および構造的類似度に基づき、大規模な並列コーパスから最も類似したコードスニペットを情報検索技術を用いて特定する。
• システムは、取得したコードスニペットの要約をプロトタイプとして扱い、要約構造（例：'trueを返すのは…の場合'）の再利用可能なパターンを提供する。
• エディットモジュールは、ニューラルネットワークを用いて、入力コードの意味的コンテンツに基づき、プロトタイプ要約のキーワードを置換または挿入することで編集を行う。
• モデルは、プロトタイプからのパターン語を保持しつつ、入力コードの意味から文脈的に関連する新しいキーワードを生成するように同時に学習する。
• フレームワークは、エディットモジュールが入力コードと取得したプロトタイプの両方を条件として、大規模なJavaデータセット上でエンドツーエンドに訓練される。
• 取得した要約を補助入力として扱うのではなく、編集のための構造的骨格として使用する。

実験結果

リサーチクエスチョン

• RQ1 類似コード要約からの構造的パターンの再利用によって、リトリーブ・エディットフレームワークがコード要約の情報量を向上させることができるか？
• RQ2 プロトタイプのパターンと入力コードの意味を組み合わせることで、エンドツーエンドのニューラルモデルよりも優れたキーワード予測が達成できるか？
• RQ3 提案手法は、テンプレートベースおよびニューラルネットワークベースのベースラインを上回り、要約が簡潔で正確かつ情報豊富であるか？
• RQ4 モデルは、長さや複雑さが異なるコードスニペットに対してどれほど一般化できるか？

主な発見

• EditSumは、200万件のJavaコーパスにおいて、最先端のニューラルベースラインおよびIRベースの手法を著しく上回り、ROUGEおよびBLEUスコアが優れていることを示した。
• 人間評価により、EditSumが生成する要約は、ベースラインと比較してより情報量が多く、関連性や明確さが優れていることが確認された。
• モデルは、過去のモデルで見られた意味的情報量の損失を減らすために、低頻度で機能的に重要なキーワードの割合を高めた。
• EditSumは、さまざまなコード長に対して優れた性能を発揮し、スニペットの複雑さに関係なく、高品質な出力を維持した。
• フレームワークは、プロトタイプからのパターン語（例：'trueを返すのは…の場合'）を効果的に保持しながら、入力コードの新しい意味的コンテンツに適応した。
• 事例研究では、EditSumが構造的テンプレートの再利用とドメイン固有のキーワードの挿入により、より自然で文脈的に正確な要約を生成していることが示された。