[논문 리뷰] Enhancing Computer Programming Education with LLMs: A Study on Effective Prompt Engineering for Python Code Generation

Tianyu Wang, Nianjun Zhou외 1명|arXiv (Cornell University)|2024. 07. 07.

Online Learning and Analytics인용 수 10

한 줄 요약

한 논문은 LLM 주도 파이썬 코드 생성을 위한 프롬프트 엔지니어링 전략을 체계적으로 분류하고, LeetCode와 USACO 데이터셋에서 영향력을 평가하며, 교육자를 위한 프레임워크와 가이드라인을 제시한다.

ABSTRACT

Large language models (LLMs) and prompt engineering hold significant potential for advancing computer programming education through personalized instruction. This paper explores this potential by investigating three critical research questions: the systematic categorization of prompt engineering strategies tailored to diverse educational needs, the empowerment of LLMs to solve complex problems beyond their inherent capabilities, and the establishment of a robust framework for evaluating and implementing these strategies. Our methodology involves categorizing programming questions based on educational requirements, applying various prompt engineering strategies, and assessing the effectiveness of LLM-generated responses. Experiments with GPT-4, GPT-4o, Llama3-8b, and Mixtral-8x7b models on datasets such as LeetCode and USACO reveal that GPT-4o consistently outperforms others, particularly with the "multi-step" prompt strategy. The results show that tailored prompt strategies significantly enhance LLM performance, with specific strategies recommended for foundational learning, competition preparation, and advanced problem-solving. This study underscores the crucial role of prompt engineering in maximizing the educational benefits of LLMs. By systematically categorizing and testing these strategies, we provide a comprehensive framework for both educators and students to optimize LLM-based learning experiences. Future research should focus on refining these strategies and addressing current LLM limitations to further enhance educational outcomes in computer programming instruction.

연구 동기 및 목표

• 다른 교육적 요구사항과 문제 유형에 맞춘 프롬프트 엔지니어링 전략을 분류한다.
• 프롬프트가 LLM의 기본 능력을 넘어 프로그래밍 문제 해결 능력에 미치는 영향을 평가한다.
• 프롬프트 전략을 테스트할 수 있는 견고한 프레임워크를 개발하고 교육자 및 학생을 위한 실용적인 가이드라인을 제공한다.

제안 방법

• 교육 수준에 따라 질문을 분류한다: 지식/기술, 대회, 고급 복합 문제.
• 세 가지 프롬프트 전략을 적용한다: 프롬프트 엔지니어링 없이, 일반 프롬프트 엔지니어링, 특정 프롬프트 엔지니어링.
• 정확도, 효과성(시간/메모리), 코드 품질 메트릭으로 LLM 출력물을 평가하고 데이터셋 전반의 결과를 분석한다.

실험 결과

연구 질문

• RQ1 프롬프트 엔지니어링 전략을 다양한 교육적 요구와 문제 유형에 대해 체계적으로 분류할 수 있는가?
• RQ2 맞춤형 프롬프트 전략이 LLM이 즉시 처리 가능한 능력을 넘어서는 문제를 해결하도록 하는가?
• RQ3 이러한 전략을 교육에 구현하기 위한 견고한 평가 프레임워크와 실용적 가이드라인을 확립할 수 있는가?

주요 결과

• GPT-4 및 GPT-4o가 LeetCode에서 프롬프트 전반에 걸쳐 다른 모델을 능가하며, multi prompt 전략에서 GPT-4o가 100% 합격률을 달성한다.
• 다단계 프롬프트는 복잡한 문제에 강한 상승을 제공하며, 예를 들어 LeetCode에서 다단 프롬프트로 GPT-4o가 100% 합격률에 도달한다.
• LeetCode에서 기본 합격률은 GPT-4o의 프롗폼트 전반에 걸쳐 97–99%, GPT-4는 98–99%인 반면, Llama3-8b와 Mixtral-8x7b는 뒤처졌다.
• 시간 효율성은 GPT-4 계열에 우호적이며 프롬프트 전반에서 가장 빠른 시간은 약 3959–4604 ms; 일반적으로 GPT-4가 가장 빠르다.
• 코드 품질(Pylint)은 특히 다단 프롬프트에서 GPT-4가 가장 높고, 다른 모델은 변동성이 더 크다.
• USACO 결과는 다단 프롬프트가 해결 가능한 문제를 30%(base)에서 55%(multi) 및 75%(multi+spec)로 개선하지만 일부 문제는 여전히 해결되지 않는다.