[논문 리뷰] How Novice Programmers Use and Experience ChatGPT when Solving Programming Exercises in an Introductory Course

Andreas Scholl, Natalie Kiesler|arXiv (Cornell University)|2024. 07. 30.

Online Learning and Analytics인용 수 6

한 줄 요약

이 연구는 독일 대학의 298명의 컴퓨팅 학생들을 대상으로 ChatGPT-3.5를 초급 프로그래밍 과제에 어떻게 사용하는지와 그 이점과 한계에 대한 인식을 조사하여 다양한 사용 패턴과 태도를 드러낸다.

ABSTRACT

This research paper contributes to the computing education research community's understanding of Generative AI (GenAI) in the context of introductory programming, and specifically, how students utilize related tools, such as ChatGPT. An increased understanding of students' use is mandatory for educators and higher education institutions, as GenAI is here to stay, and its performance is likely to improve rapidly in the near future. Learning about students' use patterns is not only crucial to support their learning, but to develop adequate forms of instruction and assessment. With the rapid advancement of AI, its broad availability, and ubiquitous presence in educational environments, elaborating how AI can enhance learning experiences, especially in courses such as introductory programming is important. To date, most studies have focused on the educator's perspective on GenAI, its performance, characteristics, and limitations. However, the student perspective, and how they actually use GenAI tools in course contexts, has not been subject to a great number of studies. Therefore, this study is guided by the following research questions: (1) What do students report on their use pattern of ChatGPT in the context of introductory programming exercises? and (2) How do students perceive ChatGPT in the context of introductory programming exercises? To address these questions, computing students at a large German university were asked to solve programming tasks with the assistance of ChatGPT as part of their introductory programming course. Students (n=298) provided information regarding the use of ChatGPT, and their evaluation of the tool via an online survey. This research provides a comprehensive evaluation of ChatGPT-3.5's application by novice programmers in a higher education context...

연구 동기 및 목표

• 초보 프로그래머가 ChatGPT를 사용해 초급 프로그래밍 연습 문제를 해결하는 방식을 이해한다.
• 학생들이 강의 과제에서 ChatGPT의 유용성, 정확성, 실용성에 대해 인식하는 바를 조사한다.
• 학생의 사용 패턴과 GenAI 도구에 대한 태도를 개략적으로 제시함으로써 교육 설계와 평가를 보완한다.

제안 방법

• 초급 프로그래밍 과정의 일환으로 ChatGPT-3.5를 활용한 연습 문제를 개발하고 배포한다.
• 사용 패턴, 접근 방식, 과제 유형을 다루는 온라인 설문을 통해 298명의 학생으로부터 데이터를 수집한다.
• 폐쇄형 문항 응답은 정량적 방법으로, 개방형 문항 응답은 질적 내용 분석으로 분석한다.
• 맥락: 두 시간 강의와 튜토리얼이 있는 독일의 대형 대학 강좌; 학생들은 Moodle에 프롬프트-응답 쌍을 제출했다.
• 작업에는 재귀, 함수, 리스트, 조건문, 문자열 조작, 문서화가 포함되었으며, ChatGPT-3.5의 하위 작업별 성능이 기록되었다.

실험 결과

연구 질문

• RQ1 RQ1: 초급 프로그래밍 연습 맥락에서 학생들이 ChatGPT 사용 패턴에 대해 보고한 내용은 무엇인가?
• RQ2 RQ2: 초급 프로그래밍 연습 맥락에서 학생들은 ChatGPT를 어떻게 인식하는가?

주요 결과

• 학생들은 GenAI를 광범위하게 채택하며 사용은 생성된 해결책 수용에서부터 비판적이고 인터랙티브한 참여에 이르기까지 다양하다.
• 자주 나타나는 사용 패턴: 약 절반이 매주 ChatGPT를 사용하고, 18%는 매일 사용하며, 대부분의 상호작용은 30분 미만 지속되고 ChatGPT 웹 인터페이스를 통해 접근한다.
• 학생들은 문제 이해, 개념적 입력, 코드 생성, 디버깅, 문서화, 테스트 케이스, 구문 수정, 런타임 분석에 ChatGPT를 사용했다.
• 사용하기 쉬움에 대한 인식은 긍정적(중앙값/평균 약 4.0)인 반면, 정확성 및 관련성에 대한 견해는 엇갈리며(중앙값 약 3, 평균 약 2.87)
• 전반적인 만족도는 대체로 긍정적(중앙값 4, 평균 3.44)이며, 많은 이들이 초보자에게 ChatGPT를 추천할 의향이 있다(중앙값 4, 평균 3.63).
• 정성적 분석은 20개의 경험 범주를 도출(예: 시작점, 개념 입력, 학습 동반자, 코드 및 텍스트 생성, 디버깅, 대안적 관점, 검색 도구, 응답 품질, 채팅 기록, 가용성, 사용 용이성, 시간 효율성, 지식 기반, 사회적 상호작용, 프라이버시 우려, 과신, 망상, 진실성, 의존성)되어, 부정확성, 망상, 의존성 등의 이점과 위험을 모두 강조한다.