[論文レビュー] An Extractive-and-Abstractive Framework for Source Code Summarization

Weisong Sun, Chunrong Fang+7 more|arXiv (Cornell University)|Jun 15, 2022

Software Engineering Research被引用数 4

ひとこと要約

本論文では、深層学習に基づく文の抽出と抽象的生成を組み合わせた、新しい抽出型および要約型フレームワークEACSを提案する。EACSは、完全なコードスニペットと抽出された重要な文を同時に処理することで、6つのプログラミング言語と3つのデータセットにおいて、最先端の手法よりも自然で情報量が多く、事実的に正確な要約を生成する。BLEU、METEOR、ROUGE-Lの指標において優れた性能を示し、人間評価でも優れた品質を確認した。

ABSTRACT

(Source) Code summarization aims to automatically generate summaries/comments for a given code snippet in the form of natural language. Such summaries play a key role in helping developers understand and maintain source code. Existing code summarization techniques can be categorized into extractive methods and abstractive methods. The extractive methods extract a subset of important statements and keywords from the code snippet using retrieval techniques, and generate a summary that preserves factual details in important statements and keywords. However, such a subset may miss identifier or entity naming, and consequently, the naturalness of generated summary is usually poor. The abstractive methods can generate human-written-like summaries leveraging encoder-decoder models from the neural machine translation domain. The generated summaries however often miss important factual details. To generate human-written-like summaries with preserved factual details, we propose a novel extractive-and-abstractive framework. The extractive module in the framework performs a task of extractive code summarization, which takes in the code snippet and predicts important statements containing key factual details. The abstractive module in the framework performs a task of abstractive code summarization, which takes in the entire code snippet and important statements in parallel and generates a succinct and human-written-like natural language summary. We evaluate the effectiveness of our technique, called EACS, by conducting extensive experiments on three datasets involving six programming languages. Experimental results show that EACS significantly outperforms state-of-the-art techniques in terms of all three widely used metrics, including BLEU, METEOR, and ROUGH-L.

研究の動機と目的

• 既存の抽出的および抽象的コード要約手法の限界、すなわち自然さに欠けることや事実の詳細を漏らすことに対処する。
• 抽出的手法の事実の正確さと抽象的手法の流暢さを組み合わせることで、コード要約の質を向上させる。
• 抽出的および抽象的モジュールを統合したスケーラブルでモジュラーなフレームワークを構築し、要約品質を向上させる。
• 複数のプログラミング言語にわたり多様なデータセットを用いてフレームワークを評価し、一般化性と頑健性を確認する。

提案手法

• 抽出モジュールは、入力コードスニペットから、重要な事実的詳細を含む文を特定・抽出するための深層学習ベースの分類器を用いる。
• 抽象的モジュールは、完全なコードスニペットと抽出された重要な文を並列入力として受け取り、自然言語要約を生成する。
• フレームワークは、要約生成のための統合前に、コードと重要な文を別々に符号化する二重エンコーダアーキテクチャを採用する。
• 抽象的モジュールは、注意メカニズムを備えた系列変換モデルを活用し、流暢で人間らしい要約を生成する。
• フレームワークはモジュラーかつスケーラブルに設計されており、さまざまな事前学習モデルや将来の大規模言語モデル（LLMs）との統合が可能である。
• モデルは、事実の完全性と自然言語の流暢さの両方を最適化するため、エンドツーエンドで系列生成損失を用いて学習される。

Figure 1. Example of Code Snippet and Summary

実験結果

リサーチクエスチョン

• RQ1 抽出的および抽象的アプローチを統合したハイブリッドフレームワークは、純粋に抽出的または抽象的アプローチと比較して、要約の事実的正確性と自然さを向上させることができるか？
• RQ2 完全なコードと抽出された文を同時に処理することで、複数のプログラミング言語にわたる要約品質にどのような影響を与えるか？
• RQ3 EACSは、BLEU、METEOR、ROUGE-Lといった標準評価指標において、最先端のコード要約手法をどの程度上回るか？
• RQ4 人間評価者による評価では、EACSが生成する要約は、既存手法と比較して情報量、関連性、自然さの点でどの程度優れているか？

主な発見

• EACSは、6つのプログラミング言語と3つのデータセットにおいて、すべての3つの標準指標（BLEU、METEOR、ROUGE-L）で最先端の手法を顕著に上回った。
• 人間評価により、EACSが生成する要約は、既存手法のものと比較して、より自然で、情報量が多く、入力コードスニペットに関連性があることが確認された。
• 抽出モジュールは、事実的詳細を含む重要な文を効果的に特定しており、これにより抽象的モジュールの正確な要約生成能力が向上した。
• 完全なコードスニペットに加えて抽出された文を入力とすることで、抽象的モジュールは、コードスニペットのみを入力とするモデルと比較して、より流暢で文脈的に整合性のある要約を生成した。
• フレームワークは、多様なプログラミング言語やコード構造にわたり強く一般化する能力を示しており、広範な適用可能性を示している。
• 抽出的および抽象的モジュールを統合したフレームワークを用いることで、単独で使用するよりも効果的であることが結果から示唆された。

Figure 2. Framework of DL-based Code Summarization