[논문 리뷰] Exploring the Use of ChatGPT as a Tool for Learning and Assessment in Undergraduate Computer Science Curriculum: Opportunities and Challenges

Basit Qureshi|arXiv (Cornell University)|2023. 04. 16.

Artificial Intelligence in Healthcare and Education인용 수 57

한 줄 요약

이 논문은 2학년 데이터 구조 및 알고리즘 과목에서 ChatGPT를 사용 여부에 따른 학습 성과를 실험적으로 비교하고, ChatGPT가 성적 향상에 도움이 되지만 코드의 불일치성과 부정확성을 야기한다는 점을 보여준다.

ABSTRACT

The application of Artificial intelligence for teaching and learning in the academic sphere is a trending subject of interest in the computing education. ChatGPT, as an AI-based tool, provides various advantages, such as heightened student involvement, cooperation, accessibility and availability. This paper addresses the prospects and obstacles associated with utilizing ChatGPT as a tool for learning and assessment in undergraduate Computer Science curriculum in particular to teaching and learning fundamental programming courses. Students having completed the course work for a Data Structures and Algorithms (a sophomore level course) participated in this study. Two groups of students were given programming challenges to solve within a short period of time. The control group (group A) had access to text books and notes of programming courses, however no Internet access was provided. Group B students were given access to ChatGPT and were encouraged to use it to help solve the programming challenges. The challenge was conducted in a computer lab environment using PC2 environment. Each team of students address the problem by writing executable code that satisfies certain number of test cases. Student teams were scored based on their performance in terms of number of successful passed testcases. Results show that students using ChatGPT had an advantage in terms of earned scores, however there were inconsistencies and inaccuracies in the submitted code consequently affecting the overall performance. After a thorough analysis, the paper's findings indicate that incorporating AI in higher education brings about various opportunities and challenges.

연구 동기 및 목표

• 학부 CS 교육에 AI 도구(ChatGPT)를 통합하는 기회와 도전 과제를 탐구한다.
• 학생들이 프로그래밍 과제를 해결하기 위해 ChatGPT를 사용할 때 학습 및 평가 결과를 평가한다.
• AI 지원으로 작성된 학생 제출 코드의 정확성과 신뢰성을 평가한다.
• AI 보조 학습에서의 커리큘럼 설계 및 교수 전략에 대한 통찰을 제공한다.

제안 방법

• 2학년 수준의 자료구조 및 알고리즘 수강생 두 그룹이 프로그래밍 챌린지에 참가했다.
• A그룹(대조군)은 교재와 노트만 사용했고 인터넷에 접속하지 않았다.
• B그룹은 ChatGPT에 접근할 수 있었고 챌린지 해결에 이를 사용하도록 권장되었다.
• 챌린지는 테스트 케이스로 판단되는 실행 가능한 코드가 있는 PC2 컴퓨터 실습 환경에서 수행되었다.
• 팀은 코드가 통과한 테스트 케이스의 수를 바탕으로 점수를 받았다.
• 비교는 성능 점수와 관찰된 코드 품질에 초점을 맞췄다.

실험 결과

연구 질문

• RQ1 전통적 자원에 비해 ChatGPT 접근이 학생의 프로그래밍 챌린지 성과를 향상시키는가?
• RQ2 학부 CS에서 학습 및 평가를 위해 ChatGPT를 사용하는 이점과 단점은 무엇인가?
• RQ3 AI 보조 코딩이 학생 제출물의 정확성과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• ChatGPT를 사용하는 학생은 AI 지원이 없는 학생보다 더 높은 점수를 얻었다.
• ChatGPT가 생성한 코드에 일관성 부족과 부정확성이 있어 전체 성과에 영향을 주었다.
• AI 보조 학습은 고등교육에서 참여도/접근성 같은 기회와 코드 신뢰성 같은 도전과제를 제시한다.