[논문 리뷰] Can Generative Pre-trained Transformers (GPT) Pass Assessments in Higher Education Programming Courses?

Jaromír Šavelka, Arav Agarwal외 3명|arXiv (Cornell University)|2023. 03. 16.

Teaching and Learning Programming참고 문헌 33인용 수 7

한 줄 요약

GPT 모델들 (text-davinci-003) 은 파이썬 과목의 전체 평가 범위를 통과할 수 없지만, 전체 점수의 비교적 비중 있는 부분은 얻을 수 있어, 완전한 해결자를 바라기보다 학습 보조자로서의 잠재력을 시사한다.

ABSTRACT

We evaluated the capability of generative pre-trained transformers (GPT), to pass assessments in introductory and intermediate Python programming courses at the postsecondary level. Discussions of potential uses (e.g., exercise generation, code explanation) and misuses (e.g., cheating) of this emerging technology in programming education have intensified, but to date there has not been a rigorous analysis of the models' capabilities in the realistic context of a full-fledged programming course with diverse set of assessment instruments. We evaluated GPT on three Python courses that employ assessments ranging from simple multiple-choice questions (no code involved) to complex programming projects with code bases distributed into multiple files (599 exercises overall). Further, we studied if and how successfully GPT models leverage feedback provided by an auto-grader. We found that the current models are not capable of passing the full spectrum of assessments typically involved in a Python programming course (<70% on even entry-level modules). Yet, it is clear that a straightforward application of these easily accessible models could enable a learner to obtain a non-trivial portion of the overall available score (>55%) in introductory and intermediate courses alike. While the models exhibit remarkable capabilities, including correcting solutions based on auto-grader's feedback, some limitations exist (e.g., poor handling of exercises requiring complex chains of reasoning steps). These findings can be leveraged by instructors wishing to adapt their assessments so that GPT becomes a valuable assistant for a learner as opposed to an end-to-end solution.

연구 동기 및 목표

• 실제 고등교육 과정에서 사용되는 Python 수업의 MCQ 및 코딩 과제를 포함한 전체 범위의 평가에서 GPT의 능력을 평가한다.
• GPT가 자동 채점 피드백을 활용하여 해결책을 개선하는 능력을 평가한다.
• 프로그래밍 교육의 교수 설계 및 평가 보안에 대한 제한점과 시사점을 파악한다.

제안 방법

• text-davinci-003 (GPT-3.5 계열)을 MCQ 프롬프트(temperature 0.0, max_tokens 500)와 코딩 과제 프롬프트(max_tokens 2000까지, temperature 0.7)로 사용한다.
• 자동 채점 피드백 및 반복 제출을 포함하여 인간 학습자와 동일한 평가 규정을 적용한다.
• 데이터셋은 PE1, PE2, PPP의 세 파이썬 과목에서 599개의 연습문제(MCQ 및 코딩 과제)로 구성된다.
• GPT 성능을 이전 모델(text-davinci-002)과 비교하여 진전을 측정한다.
• GPT가 과정 수준의 평가를 통과할 수 있는지와 피드백이 수정에 어떤 영향을 미치는지 분석한다.

실험 결과

연구 질문

• RQ1 RQ1: GPT가 입문 및 중급 Python 과목에서 사용되는 MCQ 평가에 대해 올바른 답을 얼마나 신뢰성 있게 생성할 수 있는가?
• RQ2 RQ2: 인간과 유사한 지시로부터 복잡한 Python 코딩 과제를 해결하는 데 GPT가 얼마나 신뢰성 있게 해결책을 제시할 수 있는가?
• RQ3 RQ3: 자동 채점 피드백을 활용하여 결함 있는 해결책을 얼마나 잘 개선할 수 있는가?

주요 결과

• GPT-3.5 (text-davinci-003) 은 530문항 중 341개(64.3%)에 답했고, 이전 모델(td-002)보다 301/530(56.8%)에서 향상되었다.
• PE1에서 td-003은 처음 모듈만 통과했고 전체 평균 56.1%를 기록하며 이후 모듈 테스트를 실패했다.
• PE2에서 td-003은 4개 모듈 중 3개를 통과했고 전체 평균 67.9%를 기록했으며(요약 테스트에서 65.0%).
• PPP에서 GPT는 8개 과목 단위 중 4개를 통과했고, 제시된 채점 체계 하에 전체 67.3%를 달성했으며, 프로젝트 및 반영 구성요소가 각각 0.8과 0.2의 가중치를 가졌다.
• GPT는 자동 채점 피드백을 통해 개선하는 능력을 보였으며(예: 프로젝트 점수가 첫 제출 53.6%에서 수정 후 66.4%로 상승); 그러나 긴 추론 연쇄나 미묘한 출력 이해가 필요한 과제에는 어려움을 겪는다.
• 제한점으로는 복잡한 추론 단계, 다중 산출물의 통합이 필요한 연습문제에서의 난이도와 비중 높은 출력 검증 필요성 등이 언급된다.