[論文レビュー] Conversing with Copilot: Exploring Prompt Engineering for Solving CS1 Problems Using Natural Language

Paul Denny, Viraj Kumar+1 more|Americanae (AECID Library)|Oct 27, 2022

Software Engineering Research被引用数 14

ひとこと要約

本研究では、166問のCS1プログラミング問題に対するGitHub Copilotのパフォーマンスを評価し、元のプロンプトを用いた初回試行で50%が解決され、残りの50%のうち60%が自然言語プロンプト工学によって解決された。結果から、アルゴリズム的ヒントを含む問題記述の精錬というプロンプト工学は、導入プログラミング教育における計算的思考を促進する、非常に効果的で教育的価値の高いインタラクションであると示唆される。

ABSTRACT

GitHub Copilot is an artificial intelligence model for automatically generating source code from natural language problem descriptions. Since June 2022, Copilot has officially been available for free to all students as a plug-in to development environments like Visual Studio Code. Prior work exploring OpenAI Codex, the underlying model that powers Copilot, has shown it performs well on typical CS1 problems thus raising concerns about the impact it will have on how introductory programming courses are taught. However, little is known about the types of problems for which Copilot does not perform well, or about the natural language interactions that a student might have with Copilot when resolving errors. We explore these questions by evaluating the performance of Copilot on a publicly available dataset of 166 programming problems. We find that it successfully solves around half of these problems on its very first attempt, and that it solves 60\% of the remaining problems using only natural language changes to the problem description. We argue that this type of prompt engineering, which we believe will become a standard interaction between human and Copilot when it initially fails, is a potentially useful learning activity that promotes computational thinking skills, and is likely to change the nature of code writing skill development.

研究の動機と目的

• 自然言語プロンプトのみを用いてGitHub Copilotが導入プログラミング問題をどの程度うまく解けるかを評価すること。
• プロンプト工学による問題記述の修正が、初回失敗後のCopilotの成功確率をどの程度向上させるかを調査すること。
• プロンプト工学の努力にもかかわらず未解決のままとなる問題の共通する特徴を特定すること。
• プロンプト工学をCS1教育における学習活動としての教育的意味を検討すること。
• 急速に進化するモデルを考慮し、公開CS1問題データセットにおけるCopilotのパフォーマンスの現在のベースラインを確立すること。

提案手法

• CodeCheckのPython問題バンクから抽出した166問のCS1プログラミング問題の公開データセットを用いて、Copilotのパフォーマンスを評価した。
• 元の問題記述をそのままで使用して、ベースラインの成功確率を測定した。
• 初回に失敗した問題に対して、反復的な自然言語プロンプト工学を適用した（アルゴリズム的ヒントの追加、制約の明確化、問題文の再構成）。
• 失敗パターンに基づいて問題を分類した：不適切なプロンプト、冗長なプロンプト（パターン）、概念的問題。プロンプトの構造と明確さを分析した。
• 定性的および定量的分析を用いて、プロンプト修正が解決の正しさに与える影響を評価した。
• 非決定的であるとされる基盤となるCodexモデルの性質を考慮し、複数回の試行を繰り返して結果を再現した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 元の問題記述を用いた場合、Copilotは公開されたCS1プログラミング問題データベースに対してどの程度のパフォーマンスを示すか？
• RQ2 RQ2: 初回失敗後に問題記述に対する自然言語の修正を加えることで、どの程度の確率で解決が達成されるか？
• RQ3 RQ3: プロンプト工学の努力にもかかわらず解決できない問題に共通する特徴は何か？
• RQ4 RQ4: AIペアプログラミングツール（Copilotなど）と対話する戦略としてのプロンプト工学には、どのような教育的意味があるか？

主な発見

• Copilotは、元の問題記述を用いた初回試行で166問のCS1問題のうち50%を正しく解決した。
• 初回に失敗した残りの50%の問題のうち、60%が自然言語プロンプト工学によって解決された。主にアルゴリズム的ヒントの追加が有効であった。
• プロンプト工学は、パターンの帰納、文字列操作、概念的推論を含むすべての問題カテゴリで有効であった。
• 帰納的推論や暗黙のパターン認識を要する問題は初回に失敗しやすいが、より明確で構造化されたプロンプトにより解決可能となった。
• 本研究では、失敗の3つのカテゴリを同定した：不適切なプロンプト（曖昧または不完全な記述）、冗長なプロンプト（複雑すぎたり冗長な指示）、概念的問題（エッジケースや制約の明確でない点）。
• 基盤となるCodexモデルの非決定的性質にもかかわらず、繰り返し評価において一貫した成功確率が観察されたため、本研究の結果は現在のベースラインとして信頼性があるとされた。