[論文レビュー] Copilot Evaluation Harness: Evaluating LLM-Guided Software Programming

Anisha Agarwal, Aaron Chan+7 more|arXiv (Cornell University)|Feb 22, 2024

Software Engineering Research被引用数 6

ひとこと要約

本論文は Copilot Evaluation Harness を導入し、IDEに統合されたLLMを静的および実行ベースの指標で評価する。対象は5つのソフトウェアタスクで、マルチ言語データセットとビルド/テストハーネスを使用する。

ABSTRACT

The integration of Large Language Models (LLMs) into Development Environments (IDEs) has become a focal point in modern software development. LLMs such as OpenAI GPT-3.5/4 and Code Llama offer the potential to significantly augment developer productivity by serving as intelligent, chat-driven programming assistants. However, utilizing LLMs out of the box is unlikely to be optimal for any given scenario. Rather, each system requires the LLM to be honed to its set of heuristics to ensure the best performance. In this paper, we introduce the Copilot evaluation harness: a set of data and tools for evaluating LLM-guided IDE interactions, covering various programming scenarios and languages. We propose our metrics as a more robust and information-dense evaluation than previous state of the art evaluation systems. We design and compute both static and execution based success metrics for scenarios encompassing a wide range of developer tasks, including code generation from natural language (generate), documentation generation from code (doc), test case generation (test), bug-fixing (fix), and workspace understanding and query resolution (workspace). These success metrics are designed to evaluate the performance of LLMs within a given IDE and its respective parameter space. Our learnings from evaluating three common LLMs using these metrics can inform the development and validation of future scenarios in LLM guided IDEs.

研究の動機と目的

• 従来のコード生成ベンチマークを超えた、LLM-guided IDE との対話の堅牢な評価を動機づける。
• 評価のための5つの実務的なソフトウェア工学タスク（doc, fix, generate, test, workspace）を定義する。
• 構文、正確性、統合品質を捉える静的および実行ベースの成功指標を提案する。
• データ収集とIDE非依存の評価パイプラインを提供し、異なる言語や環境に適応させる。

提案手法

• IDEにおけるソフトウェア工学タスクに合わせた評価指標のセットを提供する。
• 静的解析とランタイムのテスト実行を用いて正確性と信頼性を測定する。
• VS Code 内で複数の LLM（GPT-3.5、GPT-4、Code Llama）を使用して、5つのタスク（doc、fix、generate、test、workspace）を評価する。
• 言語特有のビルド/テストハーネスを備えたGitHubリポジトリから、言語横断のデータ収集パイプラインを構築する。
• 構文正確性、テスト合格率、検索品質を測定してエンドツーエンドの統合を評価する。
• 任意のIDEにハーレスを適用する手順とIDEパラメータ空間の調整方法を説明する。

実験結果

リサーチクエスチョン

• RQ1 IDEベースのコーディングアシスタントを動作させるとき、異なるLLM（GPT-3.5、GPT-4、Code Llama）はどう比較されるか？
• RQ2 Copilot Evaluation Harnessは、LLMをIDEへ組み込む展開を改善するための統合の洞察をどのように提供するか？
• RQ3 私たちのテストケースは、言語とタスクを横断するLLM搭載のコーディングアシスタントの実世界での使用を反映しているか？

主な発見

言語	モデル	構文正確性	形式正確性
Python	GPT-4	100%	83%
Python	GPT-3.5	100%	87%
Python	Code Llama	100%	87%
Javascript	GPT-4	83%	100%
Javascript	GPT-3.5	83%	100%
Javascript	Code Llama	79%	55%
Typescript	GPT-4	96%	79%
Typescript	GPT-3.5	96%	86%
Typescript	Code Llama	77%	65%
Java	GPT-4	100%	93%
Java	GPT-3.5	100%	80%
Java	Code Llama	100%	64%
C#	GPT-4	100%	89%
C#	GPT-3.5	100%	75%
C#	Code Llama	94%	67%
C/C++	GPT-4	92%	94%
C/C++	GPT-3.5	92%	77%
C/C++	Code Llama	90%	38%

• GPT-4 は、ほとんどの言語でドキュメンテーション生成において、GPT-3.5およびCode Llamaを概ね上回る。
• バグ修正では、GPT-4が通常リードし、Code Llamaは複数の言語で著しく遅れをとる。
• Code LlamaはPythonのドキュメント作成タスクで強いが、C/C++のドキュメントタスクではパフォーマンスが劣る。
• バグ修正では、C# はすべてのモデルにとって依然として難しく、いくつかのケースでGPT-3.5が他を上回る。
• 言語を超えて、タスクごとにモデルの性能が異なることがわかり、IDEでの適切なプロンプトとコンテキストの重要性を浮き彫りにしている。