[論文レビュー] Testing LLMs on Code Generation with Varying Levels of Prompt Specificity

Lincoln Murr, Morgan Grainger+1 more|arXiv (Cornell University)|Nov 10, 2023

Software Engineering Research被引用数 6

ひとこと要約

本研究では、GPT-3.5、GPT-4、Claude-2、Bardなどの大規模言語モデル（LLM）におけるコード生成性能に、プロンプトの明確さ、特にテストケースの含む有無が与える影響を評価する。104個のPythonプログラミング問題を対象とした結果、テストケースを含むプロンプトは正確性と信頼性を顕著に向上させる。GPT-4とGPT-3.5が他のモデルを上回り、テスト駆動型プロンプトの有効性が、堅牢なコード生成に寄与することを示している。

ABSTRACT

Large language models (LLMs) have demonstrated unparalleled prowess in mimicking human-like text generation and processing. Among the myriad of applications that benefit from LLMs, automated code generation is increasingly promising. The potential to transform natural language prompts into executable code promises a major shift in software development practices and paves the way for significant reductions in manual coding efforts and the likelihood of human-induced errors. This paper reports the results of a study that evaluates the performance of various LLMs, such as Bard, ChatGPT-3.5, ChatGPT-4, and Claude-2, in generating Python for coding problems. We focus on how levels of prompt specificity impact the accuracy, time efficiency, and space efficiency of the generated code. A benchmark of 104 coding problems, each with four types of prompts with varying degrees of tests and specificity, was employed to examine these aspects comprehensively. Our results indicate significant variations in performance across different LLMs and prompt types, and its key contribution is to reveal the ideal prompting strategy for creating accurate Python functions. This study lays the groundwork for further research in LLM capabilities and suggests practical implications for utilizing LLMs in automated code generation tasks and test-driven development.

研究の動機と目的

• varying prompt specificity—especially inclusion of test cases—on LLM-generated Python code quality. に代えて：「さまざまなプロンプトの明確さ、特にテストケースの含む有無がLLMが生成するPythonコードの品質に与える影響を評価すること。
• To compare the performance of leading LLMs (Bard, ChatGPT-3.5, ChatGPT-4, Claude-2) across different prompting strategies. に代えて：「異なるプロンプト戦略の下で、先端的なLLM（Bard、ChatGPT-3.5、ChatGPT-4、Claude-2）の性能を比較すること。
• To assess whether test-driven prompts enhance accuracy, time efficiency, and space efficiency in code generation. に代えて：「テスト駆動型プロンプトが、コード生成の正確性、時間効率、空間効率を向上させるかどうかを評価すること。
• To establish an optimal prompting strategy for generating correct and efficient Python functions using LLMs. に代えて：「LLMを用いて正確で効率的なPython関数を生成するための最適なプロンプト戦略を確立すること。
• To provide empirical evidence for integrating test cases into prompts to improve reliability in AI-assisted software development. に代えて：「AI支援ソフトウェア開発における信頼性の向上を図るため、テストケースをプロンプトに統合する実証的証拠を提供すること。

提案手法

• A benchmark of 104 diverse Python coding problems was constructed, each with four distinct prompt types varying in specificity and test inclusion. に代えて：「104個の多様なPythonプログラミング問題からなるベンチマークを構築し、それぞれが明確さとテストの含む有無で異なる4種類のプロンプトタイプを有する。
• Four prompt types were used: (1) problem description only, (2) problem with input/output examples, (3) problem with test cases only, and (4) problem with both examples and test cases. に代えて：「4種類のプロンプトタイプを用いた：（1）問題の記述のみ、（2）入力／出力例を含む問題、（3）テストケースのみを含む問題、（4）例とテストケースの両方を含む問題。
• LLMs were prompted with each problem and prompt type, and generated code was evaluated for correctness, time efficiency, and space efficiency. に代えて：「LLMに各問題とプロンプトタイプを提示し、生成されたコードを正確性、時間効率、空間効率の観点から評価した。
• Code correctness was validated using automated test execution, while efficiency metrics were measured via runtime and memory usage analysis. に代えて：「コードの正確性は自動テスト実行により検証し、効率性指標は実行時間とメモリ使用量の分析により測定した。
• Performance was compared across models and prompt types using statistical analysis to identify significant differences in accuracy and efficiency. に代えて：「正確性と効率性における顕著な差を特定するため、統計的分析を用いてモデルとプロンプトタイプ間でのパフォーマンスを比較した。
• The study employed a controlled experimental design with standardized evaluation criteria to ensure reproducibility and reliability of results. に代えて：「研究は、再現性と結果の信頼性を確保するため、標準化された評価基準を用いた制御された実験設計を採用した。

実験結果

リサーチクエスチョン

• RQ1 How does including test cases in prompts affect the accuracy of code generated by LLMs? に代えて：「プロンプトにテストケースを含めることで、LLMが生成するコードの正確性にどのような影響を与えるか？
• RQ2 What is the relative performance of GPT-3.5, GPT-4, Claude-2, and Bard in generating correct Python functions across varying prompt types? に代えて：「さまざまなプロンプトタイプの下で、GPT-3.5、GPT-4、Claude-2、Bardが正しくPython関数を生成する際の相対的パフォーマンスはいかがなっているか？
• RQ3 Does increased prompt specificity—through examples or test cases—improve time and space efficiency of generated code? に代えて：「例やテストケースを用いてプロンプトの明確さを高めることで、生成コードの時間効率と空間効率が向上するか？
• RQ4 How do LLMs perform when faced with ambiguous or masked function names in prompts? に代えて：「プロンプトに曖昧またはマスキングされた関数名が含まれる状況で、LLMはどのように動作するか？
• RQ5 To what extent can test-driven prompts guide LLMs to produce functionally correct and robust code? に代えて：「テスト駆動型プロンプトが、機能的に正しいかつ堅牢なコードを生成するようLLMをどれほど効果的に導けるか？

主な発見

• Including test cases in prompts significantly improves code generation accuracy across all evaluated LLMs, with GPT-4 achieving the highest correctness rate. に代えて：「すべての評価対象LLMにおいて、プロンプトにテストケースを含めることでコード生成の正確性が顕著に向上し、GPT-4が最も高い正確性を達成した。
• GPT-3.5 and GPT-4 demonstrated robust performance across all prompt types, showing strong adaptability to varying levels of specificity. に代えて：「GPT-3.5とGPT-4は、すべてのプロンプトタイプで堅牢なパフォーマンスを示し、さまざまな明確さレベルに強く適応できることを示した。
• Claude-2 performed well only with highly specific prompts, indicating it benefits from explicit instructions and struggles with ambiguity. に代えて：「Claude-2は、非常に明確なプロンプトでのみ良好なパフォーマンスを示し、明確な指示を好むが、曖昧さに弱いことが示唆された。
• The outdated Text-davinci-002 model significantly underperformed compared to newer models, confirming rapid advancements in LLM architecture. に代えて：「古くなったText-davinci-002モデルは、新しいモデルと比較して顕著にパフォーマンスが低く、LLMアーキテクチャの急速な進歩を裏付けた。
• Masked function names reduced model performance, indicating difficulty in reasoning under ambiguity and highlighting a key limitation in LLM generalization. に代えて：「マスキングされた関数名はモデルのパフォーマンスを低下させ、曖昧さの下での推論に困難を示し、LLMの一般化能力における重要な限界を浮き彫りにした。
• Test-enabled prompts led to more reliable and functionally correct code, supporting the integration of TDD principles in LLM-based development workflows. に代えて：「テストを有効にしたプロンプトは、より信頼性が高く機能的に正しいコードを生成した。これは、LLMベースの開発ワークフローにTDD原則を統合する根拠となった。