[論文レビュー] Benchmarking and Explaining Large Language Model-based Code Generation: A Causality-Centric Approach

Zhenlan Ji, Pingchuan Ma+2 more|arXiv (Cornell University)|Oct 10, 2023

Software Engineering Research被引用数 4

ひとこと要約

本稿では、自然言語プロンプトと生成コードの間の因果関係をモデル化することで、大規模言語モデル（LLM）に基づくコード生成の評価と説明を目的とした因果関係中心のフレームワークを提案する。新規の因果グラフ表現とDiBSに基づく因果分析を用い、プロンプトの言い換えがBLEUスコアなどのコード品質指標に与える影響を特定し、プロンプト工学によるコード生成の改善に向けた実行可能なイン사이트を明らかにする。

ABSTRACT

While code generation has been widely used in various software development scenarios, the quality of the generated code is not guaranteed. This has been a particular concern in the era of large language models (LLMs)- based code generation, where LLMs, deemed a complex and powerful black-box model, is instructed by a high-level natural language specification, namely a prompt, to generate code. Nevertheless, effectively evaluating and explaining the code generation capability of LLMs is inherently challenging, given the complexity of LLMs and the lack of transparency. Inspired by the recent progress in causality analysis and its application in software engineering, this paper launches a causality analysis-based approach to systematically analyze the causal relations between the LLM input prompts and the generated code. To handle various technical challenges in this study, we first propose a novel causal graph-based representation of the prompt and the generated code, which is established over the fine-grained, human-understandable concepts in the input prompts. The formed causal graph is then used to identify the causal relations between the prompt and the derived code. We illustrate the insights that our framework can provide by studying over 3 popular LLMs with over 12 prompt adjustment strategies. The results of these studies illustrate the potential of our technique to provide insights into LLM effectiveness, and aid end-users in understanding predictions. Additionally, we demonstrate that our approach provides actionable insights to improve the quality of the LLM-generated code by properly calibrating the prompt.

研究の動機と目的

• LLMベースのコード生成の評価と説明に系統的な手法が不足していること、特にプロンプト感受性についての課題を解決すること。
• ブラックボックス指標に依存するのではなく、プロンプトの変化がコード品質に与える因果的影響を同定することで、LLMの不透明性を克服すること。
• 開発者がプロンプトのキャリブレーションを通じて生成コードを改善できるように、実行可能で人間が理解可能なインサイトを提供すること。
• 一般化可能で言語に依存しない、LLMのコード生成における因果分析のためのフレームワークを確立すること。

提案手法

• プロンプトと生成コードからの微細な言語的特徴およびコード特徴を構造的で分析可能な形にマッピングする、新規の因果グラフベースの表現を提案する。
• 言語的特徴（例：長さ、フォーマルさ）とコード特徴（例：複雑さ、構文パターン）を用いてプロンプトとコード出力を定量化し、数値的な因果分析を可能にする。
• 再定式化された指示（例：'もっと長くして'、'より技術的に'）がコード品質指標に与える平均処置効果（ATE）を推定するためにDiBSアルゴリズムを適用する。
• ATE推定値を用いて、コード品質に最も顕著に影響を与えるプロンプト特徴を同定し、モデル行動の因果的説明を可能にする。
• 同じ意図を持つ多様なプロンプトバリアントをLLMを用いて再定式化することで、複数の構成における制御された因果分析を可能にする。
• GPT-Neo、GPT-3.5-Turbo、GPT-4の3つのLLMにわたるAPPsデータセット上での統合的適用を通じて、フレームワークの堅牢性と一般化可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 BLEUスコアなどの指標で測定した場合、どのプロンプト再定式化戦略がコード生成品質を最も顕著に向上させるか？
• RQ2 プロンプト内の特定の言語的特徴と生成コードの品質との間には、どのような因果関係が存在するか？
• RQ3 GPT-Neo、GPT-3.5-Turbo、GPT-4といった異なるLLMは、同じプロンプト変化に対して、コード品質と安定性の観点でどのように反応するか？
• RQ4 因果分析により、高品質なコード出力をもたらすプロンプト特徴と、低品質または誤った出力をもたらす特徴を特定できるか？
• RQ5 因果的インサイトに従ったプロンプトキャリブレーションは、多様なLLMにおいてコード生成の結果をどの程度改善できるか？

主な発見

• 「もっと長くして」という再定式化戦略は、GPT-3.5-Turboで+0.0531、GPT-4で+0.0753のBLEUスコア上昇をもたらし、コード類似度に統計的に有意な正の効果があることが示された。
• 「より技術的に」という指示は、GPT-3.5-Turboで+0.0297、GPT-4で+0.0362のBLEUスコア上昇をもたらし、プロンプトにおけるフォーマルさと技術的表現の強化がコード品質を向上させることを示した。
• GPT-4は、すべての再定式化戦略においてGPT-3.5-TurboやGPT-Neoを一貫して上回り、特に「Ours」再定式化戦略で最高のBLEUスコアを記録した。
• 元のプロンプトは再定式化されたバージョンと比較して低いBLEUスコアを示すことが多く、プロンプト工学がコード生成の結果を顕著に改善できることを示唆している。
• 因果分析により、長さや技術的表現といった特定の言語的特徴がコード品質に測定可能で実行可能な影響を与えることが明らかになった。これにより、プロンプト最適化を的確に実施できるようになった。
• フレームワークは、特定のプロンプト再定式化が負の影響をもたらすことも特定した（例：GPT-Neoで「もっと長くして」の場合、BLEUスコア-0.1367）。これは、プロンプト変更を無計画に行うリスクを浮き彫りにした。