[論文レビュー] Prompting Code Interpreter to Write Better Unit Tests on Quixbugs Functions

V.O.K. Li, Nick Doiron|arXiv (Cornell University)|Sep 30, 2023

Software Engineering Research被引用数 4

ひとこと要約

本研究では、Quixbugsデータセットの関数を対象として、Code Interpreter（GPT-4ベースのモデル）が生成するユニットテストの品質に、さまざまなプロンプト戦略が与える影響を調査している。プロンプトのフォーマット、例、コメントの違いに関わらず、テストの品質はほとんど変化しなかったが、モデルは自身のコードを頻繁に自己修正していた。これは、実行可能なフィードバックループを有効化することで、信頼性と出力の正しさが顕著に向上することを示唆している。

ABSTRACT

Unit testing is a commonly-used approach in software engineering to test the correctness and robustness of written code. Unit tests are tests designed to test small components of a codebase in isolation, such as an individual function or method. Although unit tests have historically been written by human programmers, recent advancements in AI, particularly LLMs, have shown corresponding advances in automatic unit test generation. In this study, we explore the effect of different prompts on the quality of unit tests generated by Code Interpreter, a GPT-4-based LLM, on Python functions provided by the Quixbugs dataset, and we focus on prompting due to the ease with which users can make use of our findings and observations. We find that the quality of the generated unit tests is not sensitive to changes in minor details in the prompts provided. However, we observe that Code Interpreter is often able to effectively identify and correct mistakes in code that it writes, suggesting that providing it runnable code to check the correctness of its outputs would be beneficial, even though we find that it is already often able to generate correctly-formatted unit tests. Our findings suggest that, when prompting models similar to Code Interpreter, it is important to include the basic information necessary to generate unit tests, but minor details are not as important.

研究の動機と目的

• 実世界のPython関数に対してCode Interpreterが生成するユニットテストの品質に、プロンプトの変化が与える影響を評価すること。
• フォーマット、例、ロールベースのコメントなどのわずかなプロンプトの変更が、テストの正しさや包括性に与える影響を特定すること。
• モデルが自身が生成したテストコード内のエラーを検出し、修正できる能力を評価すること。
• 開発者が実用的かつ効果的に利用できる、LLMを用いたユニットテスト生成の最良の実践法を特定すること。
• 反復的なプロンプトなしで、実行可能なフィードバックを用いてテスト生成の品質を向上させる可能性を検討すること。

提案手法

• 本研究では、自動テストを目的としたQuixbugsデータセットの関数に対して、Code Interpreter（GPT-4ベースのモデル）を用いてユニットテストを生成した。
• プロンプトのフォーマットを体系的に変化させた。コードコンテキストは、生のコードまたは自然言語による記述のいずれかで提示され、フォーマット例やロールベースのコメントを含む・含まないの条件も設定した。
• 生成されたユニットテストは制御された環境で実行され、正しさ、コンパイル成功、アサーションの正確性が評価された。
• モデルの自己補正能力は、自身が生成したコードを実行し、エラーが検出され、その後の生成で修正されたかどうかを分析することで評価された。
• 実行可能評価を保証するため、単純な入出力テストフレームワークと互換性がある関数のサブセットが選択された。
• 1つのプロンプトに対して複数回の生成を実施することで、正しい、コンパイル可能なテストスイートを取得する可能性を高めた。

実験結果

リサーチクエスチョン

• RQ1 コード vs. 自然言語によるコンテキストといった、プロンプトフォーマットの違いが、生成されたユニットテストの品質に与える影響は何か？
• RQ2 フォーマット例やロールベースのコメント（例：「エキスパートコーダーとして振る舞う」）を含めることで、テスト品質は顕著に向上するか？
• RQ3 Code Interpreterは、自身が生成したユニットテスト内のエラーをどの程度検出し、修正できるか？
• RQ4 コードを実行する（実行可能なフィードバック）ことによって、静的プロンプトに比べてテスト生成の信頼性はどのように向上するか？
• RQ5 Code Interpreterを用いて、正しい、コンパイル可能な、包括的なユニットテストを生成するための最も効果的なプロンプト戦略は何か？

主な発見

• Code Interpreterが生成するユニットテストの品質は、フォーマットスタイル、例の有無、ロールベースのコメントの有無といったわずかなプロンプトの変更に対してほとんど感受しない。
• わずかなプロンプトの変更の影響が小さいにもかかわらず、Code Interpreterは自身のコードを頻繁に自己修正しており、内部的一致性とエラー検出能力が非常に高いことが示唆された。
• 構造に関する追加のプロンプトがなくても、モデルは構文的に正しい、適切にフォーマットされたユニットテストをすでに非常に効果的に生成できている。
• 自身の出力を実行可能にする機能を有効化することで、信頼性が顕著に向上した。これは、実行可能なフィードバックループを統合することでテスト品質が向上することを示唆している。
• 最小限または曖昧なコンテキストが与えられた場合でも、モデルの正しく動作するテストの生成能力は堅牢であり、トレーニングデータからの強力な一般化能力を示している。
• 今後の改善の重点は、フォーマットの微調整といったプロンプト工学ではなく、フィードバックメカニズムに向けられるべきであることが本研究で示された。