[논문 리뷰] Beyond the Hype: A Cautionary Tale of ChatGPT in the Programming Classroom

Grant Oosterwyk, Pitso Tsibolane외 2명|arXiv (Cornell University)|2024. 06. 16.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 연구는 정보 시스템 및 컴퓨터 과학 수업에서 대학생들이 ChatGPT 3.5를 사용할 때의 실용적 영향을 조사하며, 과거 학생 과제의 코드 생성을 분석하기 위해 복합 적응 시스템(CAS) 이론을 적용한다. 연구에서는 일반적인 오류와 평가 과제의 도전 과제를 드러내며, AI 지원에도 불구하고 비판적 코딩 능력을 기를 수 있도록 더 견고한 프로그래밍 과제를 설계하는 데 교사들이 활용할 수 있는 전략을 제시한다.

ABSTRACT

Due to the proliferation of Large Language Models research and the use of various Artificial Intelligence (AI) tools, the field of information systems (IS) and computer science (CS) has evolved. The use of tools such as ChatGPT to complete various student programming exercises (e.g., in Python) and assignments has gained prominence amongst various academic institutions. However, recent literature has suggested that the use of ChatGPT in academia is problematic and the impact on teaching and learning should be further scrutinized. More specifically, little is known about how ChatGPT can be practically used with code (programming) writing to complete programming exercises amongst IS and CS undergraduate university students. Furthermore, the paper provides insights for academics who teach programming to create more challenging exercises and how to engage responsibly in the use of ChatGPT to promote classroom integrity. In this paper, we used Complex Adaptive Systems (CAS) theory as a theoretical guide to understand the various dynamics through classroom code demonstrations. Using ChatGPT 3.5, we analyzed the various practical programming examples from past IS exercises and compared those with memos created by tutors and lecturers in a university setting. This paper highlights common ways of assessment, programming errors created by ChatGPT and the potential consideration for IS academics to ensure the development of critical programming skills among students.

연구 동기 및 목표

• 정보 시스템 및 컴퓨터 과학 수업에서 대학 수준의 실제 프로그래밍 과제에 대해 ChatGPT 3.5가 어떻게 코드를 생성하는지 조사하기 위해.
• 학생 과제에서 ChatGPT가 유도하는 일반적인 프로그래밍 오류와 잘못된 논리적 오류를 특정하기 위해.
• AI 지원 코드 생성이 프로그래밍 수업의 평가의 투명성과 학습 성과에 어떻게 영향을 미치는지 탐구하기 위해.
• 비판적 사고를 장려하고 AI에 대한 과도한 의존을 줄이기 위해 교사들이 더 유연한 프로그래밍 과제를 설계할 수 있도록 실질적인 통찰을 제공하기 위해.
• 프로그래밍 수업에서 학생, AI 도구, 수업 방식 간의 상호작용을 이해하기 위해 복합 적응 시스템(CAS) 이론을 적용하기 위해.

제안 방법

• 클래스 내 코드 생성 과정에서 나타나는 행동의 특성을 분석하기 위해 적용형 복합 적응 시스템(CAS) 이론을 이론적 프레임워크로 사용하였다.
• 일관성과 정확성을 위해 과거의 IS 프로그래밍 과제와 해당 과제에 대해 튜터 및 교수진이 작성한 메모를 수집하고 분석하였다.
• 기존 교육 자료에서 사용된 동일한 과제에 대해 ChatGPT 3.5를 사용하여 코드 솔루션을 생성하였다.
• AI가 생성한 코드 출력물과 인간이 작성한 솔루션을 비교하여 격차, 논리적 오류, 구현 오류를 식별하였다.
• 학생, AI 도구, 교사 간의 실시간 상호작용을 관찰하기 위해 수업 시연을 실시하였다.
• 오류 패tern과 평가 과제의 문제점을 정성적으로 분석하여 AI가 생성한 코드의 신뢰성과 교육적 함의를 평가하였다.

실험 결과

연구 질문

• RQ1 ChatGPT 3.5는 정보 시스템 및 컴퓨터 과학 수업의 표준 대학 수준 프로그래밍 과제에 대해 정확하고 논리적으로 타당한 코드를 얼마나 잘 생성하는가?
• RQ2 학술적 프로그래밍 과제를 해결할 때 ChatGPT가 가장 흔히 유도하는 프로그래밍 오류의 유형은 무엇인가?
• RQ3 경험이 많은 튜터와 교수진이 작성한 솔루션과 비교해 볼 때 AI가 생성한 솔루션은 정확성과 교육적 가치 측면에서 어떻게 다른가?
• RQ4 ChatGPT 사용이 프로그래밍 수업의 평가의 투명성에 어떤 방식으로 영향을 미치는가?
• RQ5 교사들이 AI에 대한 과도한 의존을 줄이면서도 학습 성과를 유지할 수 있도록 프로그래밍 과제를 어떻게 재설계할 수 있는가?

주요 결과

• ChatGPT 3.5는 문법적으로는 정확한 코드를 자주 생성했지만 논리적으로 잘못되어 일반적인 프로그래밍 과제에서 잘못된 출력을 유도했다.
• 흔한 오류 유형으로는 잘못된 반복 조건, 에지 케이스 처리 부족, 데이터 구조 사용의 오류가 있었으며, 이는 프롬프트가 명확할 때조차도 발생했다.
• AI가 생성한 솔루션은 일반적으로 명확성, 모ularity, 최선의 실천 방식이 부족하여 디버깅하거나 확장하기 어려웠다.
• AI가 생성한 코드를 바탕으로 한 평가는 개념적 이해력과 문제 해결 능력보다 문법적 정확성에 초점을 맞추는 위험을 내포하고 있다.
• 튜터와 교수진의 메모는 알고리즘적 추론과 에지 케이스 처리를 강조하는 경우가 많았지만, 이는 ChatGPT의 출력에서 자주 빠져 있었다.
• 연구는 비판적으로 평가되지 않은 AI 생성 코드가 학습을 약화시킬 수 있음을 입증하며, 교육적으로 탄탄한 과제 설계의 필요성을 강조한다.