[논문 리뷰] On the Educational Impact of ChatGPT: Is Artificial Intelligence Ready to Obtain a University Degree?

Kamil Malinka, Martin Perešíni외 3명|arXiv (Cornell University)|2023. 03. 20.

Artificial Intelligence in Healthcare and Education인용 수 43

한 줄 요약

이 논문은 ChatGPT의 대학 수준 컴퓨터 보안 과제 다루는 능력을 평가하고, 오용 대 보조 가능성을 분석하며, 필요한 교육적 적응을 논의한다.

ABSTRACT

In late 2022, OpenAI released a new version of ChatGPT, a sophisticated natural language processing system capable of holding natural conversations while preserving and responding to the context of the discussion. ChatGPT has exceeded expectations in its abilities, leading to extensive considerations of its potential applications and misuse. In this work, we evaluate the influence of ChatGPT on university education, with a primary focus on computer security-oriented specialization. We gather data regarding the effectiveness and usability of this tool for completing exams, programming assignments, and term papers. We evaluate multiple levels of tool misuse, ranging from utilizing it as a consultant to simply copying its outputs. While we demonstrate how easily ChatGPT can be used to cheat, we also discuss the potentially significant benefits to the educational system. For instance, it might be used as an aid (assistant) to discuss problems encountered while solving an assignment or to speed up the learning process. Ultimately, we discuss how computer science higher education should adapt to tools like ChatGPT.

연구 동기 및 목표

• ChatGPT가 대학 컴퓨터 보안 과제(시험, 에세이, 프로그래밍, CTF) 해결에 있어 효과를 평가한다.
• 출력 복사-붙여넣기에서부터 AI를 보조자로 사용하는 다양한 AI 사용 수준을 검토한다.
• 교육적 긍정적 및 부정적 영향을 논의하고 커리큘럼과 평가의 적응을 제안한다.
• 고등 교육의 AI 보조 학습에 대한 탐지, 예방 및 채택 전략을 모색한다.

제안 방법

• 시험 범주(필기시험, 기말 에세이, 프로그래밍 과제, CTF) 및 채점 체계를 정의한다.
• 세 가지 AI 사용 모드(Copy&Paste, Interpretation, Assistant)를 설정하고 이를 과제 유형에 매핑한다.
• 네 가지 보안 중심 과목의 실제 체코 학생 과제로 구성된 기준 세트를 대상으로 ChatGPT를 적용한다.
• AI 생성 결과를 과거 학생 성적과 비교하여 상대적 우수성을 평가한다.
• GPTZero를 탐지 도구로 사용하고 언어별 탐지 한계(영어 vs 체코)를 논의한다.
• 다양한 평가 가중치를 가진 과목에서의 합격률 영향에 대해 전반적으로 평가한다.

Figure 1 . Trend in Google searches for chatbot and AI-related queries. Retrieved from Google Trends 2 2 2 Accessed 12.1.2023, https://trends.google.com/trends/explore?date=today%203-m&q=chatgpt,openai,chatbot,AI .

실험 결과

연구 질문

• RQ1 ChatGPT가 다양한 시험 형식에서 평균 학생과 동등하거나 더 높은 점수를 달성할 수 있는가?
• RQ2 다른 AI 사용 모드가 성과 및 학습 결과에 어떤 영향을 미치는가?
• RQ3 AI 보조 학습이 교육의 질과 진실성에 미치는 긍정적·부정적 영향은 무엇인가?
• RQ4 AI 도구에 적응하기 위해 필요한 탐지, 예방, 채택 조치는 무엇인가?
• RQ5 rigor를 유지하면서 AI를 교육 보조자로 사용해 학습 속도를 높이는 것이 가능한가?

주요 결과

• ChatGPT는 전 영역 시험에서 정답을 제시할 수 있지만 더 넓고 구체적이지 않은 응답 및 맥락 민감성 문제가 있다.
• 테스트에서 Copy&Paste 모드는 가변적인 결과를 낳고 부정확한 답에 대해 엄격한 채점을 받을 수 있으며; Interpretation 모드는 품질을 향상시킨다.
• 일부 경우에 AI가 기말 에세이에서 사람보다 성능이 떨어지지만, 위협 모델링, 서술 등 특정 과제에서는 AI 보조 작성을 통해 시간을 절약할 수 있다.
• 사전 정의된 코드의 경우 ChatGPT가 코드를 생성하고 빠르게 과제를 완수할 수 있지만 단순히 출력물을 복사하면 깊은 이해와 학습은 감소한다.
• 소형 프로젝트 및 프로그래밍 과제에서 알고리즘 구현 및 실행 코드 생성이 가능하지만 학습 깊이는 손상될 수 있다.
• 전반적으로 ChatGPT는 가중치에 따라 과목을 합격할 수 있으며 일부 상황에서 Copy&Paste 모드를 사용하면 시험 중 약간의 손실이 있다.
• 연구는 도용, 기초 지식 상실 등의 심각한 교육적 위험과 AI를 학습 보조로 활용하는 이점 및 이해의 가속화를 함께 강조한다.
• 권고에는 탐지/예방 도구, 마일스톤 기반 평가, 그리고 비판적 사고와 문제 해결 능력을 촉진하는 커리큘럼 보조로 AI를 채택하는 것이 포함된다.

Figure 2 . The results obtained by scoring AI outputs in multiple evaluation categories with comparison to a genuine sample of student scores.