[論文レビュー] Few-shot training LLMs for project-specific code-summarization

Toufique Ahmed, Prémkumar Dévanbu|arXiv (Cornell University)|Jul 9, 2022

Software Engineering Research被引用数 10

ひとこと要約

この論文では、コード要約性能を顕著に向上させるために、プロジェクト固有のコードコメントペアをたった10組用いてCodex言語モデルのfew-shot微調整を提案している。プロジェクト固有の例を用いたfew-shotプロンプトを活用することで、ゼロショット、ワンショット、および従来の微調整モデルよりも統計的に有意な向上を達成し、数千件のサンプルで訓練されたモデルでさえも、極めて少ないデータで上回る結果を達成した。

ABSTRACT

Very large language models (LLMs), such as GPT-3 and Codex have achieved state-of-the-art performance on several natural-language tasks, and show great promise also for code. A particularly exciting aspect of LLMs is their knack for few-shot and zero-shot learning: they can learn to perform a task with very few examples. Few-shotting has particular synergies in software engineering, where there are a lot of phenomena (identifier names, APIs, terminology, coding patterns) that are known to be highly project-specific. However, project-specific data can be quite limited, especially early in the history of a project; thus the few-shot learning capacity of LLMs might be very relevant. In this paper, we investigate the use few-shot training with the very large GPT (Generative Pre-trained Transformer) Codex model, and find evidence suggesting that one can significantly surpass state-of-the-art models for code-summarization, leveraging project-specific training.

研究の動機と目的

• few-shotプロンプトにプロジェクト固有の例を用いることで、ゼロショットやワンショット設定を上回るコード要約性能を向上させられるかを調査すること。
• わずか10個の例を用いたsame-project few-shotトレーニングが、数千件のプロジェクト固有のサンプルを必要とする従来の微調整手法を上回るかを評価すること。
• 同じプロジェクト内でのfew-shotトレーニングと、異なるプロジェクト間でのfew-shotプロンプトの性能と一般化能力を比較すること。
• 最小限の開発者アノテーション付きコードコメントペアを用いて、実世界のソフトウェア工学の文脈で高精度なコード要約が可能かどうか、その実現可能性と有効性を評価すること。

提案手法

• コード要約に、Codex言語モデル（GPT-3を微調整したバージョン）を用い、そのin-context学習能力を活用する。
• few-shotプロンプトは、要約対象のコードの前に、10組のプロジェクト固有のコードコメントペアをデモンストレーションとして含めることで構築される。
• モデルはパラメータの更新なしに、プロンプトを条件として自己回帰的にトークンを予測することでdocstringを生成する。
• 性能評価は、6つのプログラミング言語で構成される8つのオープンソースプロジェクトのプロジェクト固有のデータセットを用い、BLEU-4およびROUGE-Lスコアで実施する。
• ゼロショット、ワンショット、クロスプロジェクトfew-shot、および同じプロジェクト内few-shotの設定を比較し、プロジェクト固有データの影響を明確に分離する。
• 性能向上の統計的有意性は、複数のプロジェクトおよび言語を対象にペアドt検定を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 わずか10個のプロジェクト固有の例を用いたfew-shotプロンプトが、ゼロショットやワンショット設定と比較して、コード要約性能を顕著に向上させられるか？
• RQ2 同じプロジェクト内few-shotトレーニングが、クロスプロジェクトfew-shotトレーニングを上回る性能を示すか？
• RQ3 最小限のデータ（10例）を用いたfew-shotアプローチが、数千件のラベル付き例を必要とする従来の微調整手法を上回れるか？
• RQ4 few-shotプロンプトによる性能向上が、多様なプログラミング言語およびプロジェクトで統計的に有意であるか？

主な発見

• 同じプロジェクト内few-shotトレーニングでは、全8プロジェクトでクロスプロジェクトfew-shotトレーニングと比較し、2%から46%の性能向上を達成した。
• 同じプロジェクト内few-shotアプローチは、全プロジェクトで全体的な性能向上が統計的に有意であり、2プロジェクトでは統計的有意性が確認された。
• クロスプロジェクトfew-shotトレーニングは、全6言語で1%から15%の性能向上を示し、4言語で統計的有意性が確認された。
• ゼロショットおよびワンショットプロンプトでは、Codexがそれぞれ平均2.96および6.22のBLEU-4を達成した。これは性能が著しく低いことを示し、コード要約においてfew-shotが不可欠であることを裏付けた。
• few-shot例の数が増えるにつれて性能が滑らかに向上したため、テストデータの記憶ではなく一般化能力が得られていることが示唆された。
• 本研究では、わずか10例のプロジェクト固有データでも、数千件のサンプルで微調整されたモデルを上回る結果が得られることを示した。これは、few-shotプロンプトの高いデータ効率性を示している。