[論文レビュー] Enhancing Computer Programming Education with LLMs: A Study on Effective Prompt Engineering for Python Code Generation

Tianyu Wang, Nianjun Zhou+1 more|arXiv (Cornell University)|Jul 7, 2024

Online Learning and Analytics被引用数 10

ひとこと要約

本論文は、LLM駆動のPythonコード生成におけるプロンプトエンジニアリング戦略を体系的に分類し、それらの影響をLeetCodeとUSACOのデータセットで評価し、教育者向けのフレームワークとガイドラインを提案する。

ABSTRACT

Large language models (LLMs) and prompt engineering hold significant potential for advancing computer programming education through personalized instruction. This paper explores this potential by investigating three critical research questions: the systematic categorization of prompt engineering strategies tailored to diverse educational needs, the empowerment of LLMs to solve complex problems beyond their inherent capabilities, and the establishment of a robust framework for evaluating and implementing these strategies. Our methodology involves categorizing programming questions based on educational requirements, applying various prompt engineering strategies, and assessing the effectiveness of LLM-generated responses. Experiments with GPT-4, GPT-4o, Llama3-8b, and Mixtral-8x7b models on datasets such as LeetCode and USACO reveal that GPT-4o consistently outperforms others, particularly with the "multi-step" prompt strategy. The results show that tailored prompt strategies significantly enhance LLM performance, with specific strategies recommended for foundational learning, competition preparation, and advanced problem-solving. This study underscores the crucial role of prompt engineering in maximizing the educational benefits of LLMs. By systematically categorizing and testing these strategies, we provide a comprehensive framework for both educators and students to optimize LLM-based learning experiences. Future research should focus on refining these strategies and addressing current LLM limitations to further enhance educational outcomes in computer programming instruction.

研究の動機と目的

• 異なる教育要件と問題タイプに合わせたプロンプトエンジニアリング戦略を分類する。
• プロンプトがLLMのデフォルト能力を超えるプログラミング問題解決能力に与える影響を評価する。
• プロンプト戦略を検証するための堅牢なフレームワークを開発し、教育者と学生への実践的なガイドラインを提供する。

提案手法

• 教育レベル別に質問を分類する：知識/スキル、競技、高度で複雑な問題。
• 3つのプロンプト戦略を適用する：Prompt Engineeringなし、一般的なPrompt Engineering、特定のPrompt Engineering。
• 正確性、有効性（時間/メモリ）、コード品質指標を用いてLLM出力を評価する；データセットを横断して結果を分析する。

実験結果

リサーチクエスチョン

• RQ1 プロンプトエンジニアリング戦略は、異なる教育ニーズと質問タイプに対して体系的に分類できるか。
• RQ2 特定化されたプロンプト戦略はLLMsがその場の能力を超える問題に取り組むことを可能にするか。
• RQ3 教育においてこれらの戦略を実装するための堅牢な評価フレームワークと実践的なガイドラインを確立できるか。

主な発見

• GPT-4とGPT-4oはプロンプト全体でLeetCodeの他モデルを上回り、multi prompt戦略の下でGPT-4oが100%の合格率を達成。
• 複雑な問題には多段プロンプトが大きな効果を発揮し、例としてLeetCodeでmulti promptsを用いるとGPT-4oが100%の合格率に達する。
• LeetCodeでは、ベースの合格率はGPT-4oでプロンプト全体で97–99%、GPT-4で98–99%の範囲、Llama3-8bとMixtral-8x7bは遅れている。
• 時間効率はGPT-4系に有利で、プロンプト全体で最速は約3959–4604 ms。GPT-4が概して最速。
• コード品質（Pylint）はGPT-4で最も高く、特に多段プロンプト下で顕著。その他のモデルは変動が大きい。
• USACOの結果は、多段プロンプトで解ける問題が基礎の30%から55%（多段）、75%（多段+特定）へ改善することを示すが、いくつかの問題は解決されないまま。