[論文レビュー] L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models

Ansong Ni, Pengcheng Yin+12 more|arXiv (Cornell University)|Sep 29, 2023

Natural Language Processing TechniquesComputer Science被引用数 3

ひとこと要約

L2CEvalは、大規模言語モデル（LLM）における言語からコード（L2C）生成を評価する包括的で標準化されたベンチマークを提示する。7つのタスク（意味解析、数学的推論、Pythonプログラミング）をカバーし、54のモデルの性能、耐性、信頼性のキャリブレーション、および障害モードを分析した。モデルのサイズ、事前学習データ、インstructチューニング、プロンプト戦略の影響を明らかにした。また、今後の研究を促進するため、すべてのモデル出力を公開した。

ABSTRACT

Recently, large language models (LLMs), especially those that are pretrained on code, have demonstrated strong capabilities in generating programs from natural language inputs in a few-shot or even zero-shot manner. Despite promising results, there is a notable lack of a comprehensive evaluation of these models language-to-code generation capabilities. Existing studies often focus on specific tasks, model architectures, or learning paradigms, leading to a fragmented understanding of the overall landscape. In this work, we present L2CEval, a systematic evaluation of the language-to-code generation capabilities of LLMs on 7 tasks across the domain spectrum of semantic parsing, math reasoning and Python programming, analyzing the factors that potentially affect their performance, such as model size, pretraining data, instruction tuning, and different prompting methods. In addition to assessing model performance, we measure confidence calibration for the models and conduct human evaluations of the output programs. This enables us to identify and analyze the typical failure modes across various tasks and models. L2CEval offers a comprehensive understanding of the capabilities and limitations of LLMs in language-to-code generation. We also release the evaluation framework and all model outputs, hoping to lay the groundwork for further future research in this domain.

研究の動機と目的

• 大規模言語モデル（LLM）における言語からコード（L2C）生成のための体系的で標準化された評価フレームワークの欠如に対処すること。
• モデルのサイズ、事前学習データの混合、インstructチューニング、プロンプト手法の影響が、多様なタスクにおけるL2C性能に与える影響を評価すること。
• モデルの耐性と信頼性のキャリブレーションを測定し、さまざまなモデルの能力にわたる一般的な障害モードを同定すること。
• 13の組織から得た54のモデルを対象に、一貫したプロンプトとメトリクスを用いた包括的で再現可能なベンチマークを提供し、公平な比較を可能にすること。
• すべてのモデル出力と評価フレームワークを公開し、L2C生成分野における今後の研究を加速すること。

提案手法

• 7つのL2Cタスク（2つは意味解析：Spider、WikiTQ；2つは数学的推論：GSM8K、SVAMP；3つはPythonプログラミング：MBPP、HumanEval、DS-1000）で一貫したプロンプトとメトリクスを用いた標準化された評価プロトコル。
• 13の組織から得た54のLLM（1B～170B+パラメータ）を評価。オープンソースおよびプロprietaryモデルを含む。
• モデルサイズと事前学習データ（35B～1Tトークン）のスケーリング法則の体系的分析。タスクごとのパフォーマンス向上を測定。
• Few-shot、Zero-shot、インstructチューニング済みプロンプト戦略の比較。生成品質に与える影響を評価。
• ログティットと予測の信頼性スコアを用いた信頼性のキャリブレーション分析。
• 人間によるモデル出力の評価。自動メトリクスの妥当性を検証し、定性的な障害パターンを同定。

実験結果

リサーチクエスチョン

• RQ1 モデルのサイズと事前学習データのスケーリングは、多様な言語からコードタスクにおいてパフォーマンスにどのように影響するか？
• RQ2 インストラクションチューニングと異なるプロンプト戦略（Zero-shot対Few-shot）がL2C生成品質に与える相対的影響は何か？
• RQ3 LLMの信頼性スコアは、正しいコードを生成する際にどの程度キャリブレーションされているか。また、モデルタイプやタスクによってその差は何か？
• RQ4 LLMが生成するコードにおける一般的な障害モードは何か。また、モデルの能力やタスクタイプによってその特徴はどのように異なるか？
• RQ5 自動メトリクスは、コードの正しさと品質に関する人間の判断とどの程度相関しているか？

主な発見

• より大きなモデルは、すべてのL2Cタスクで一貫して小さなモデルを上回る性能を示し、モデルサイズと事前学習データサイズの両方において、予測可能なスケーリング法則に従うパフォーマンス向上を示した。
• インストラクションチューニングは、特に複雑な推論やコード生成タスクにおいて、Zero-shotおよびFew-shot性能を顕著に向上させた。
• 信頼性のキャリブレーションは大きくばらついており、より大きなモデルやインストラクションチューニング済みモデルは、誤った出力に対して過剰な自信を示すのを抑制する、より良いキャリブレーションを示した。
• 一般的な障害モードには、誤った算術計算、問題の制約の誤解釈、制御構造における論理的誤りが含まれ、特に数学的推論と意味解析タスクで顕著だった。
• 正確一致やpass@kといった自動メトリクスは、人間の判断と中程度の相関を示したが、微細な論理的・構文的誤りを捉えられていない。
• すべてのモデル出力（テキストとログティット）の公開により、今後の研究で障害パターンの分析、評価メトリクスの改善、より頑健なコード生成のためのLLMの訓練が可能になった。