[논문 리뷰] ChatGPT: The End of Online Exam Integrity?

Teo Sušnjak|arXiv (Cornell University)|2022. 12. 19.

Artificial Intelligence in Healthcare and Education인용 수 357

한 줄 요약

본 논문은 ChatGPT의 고수준 인지 작업 수행 능력과 인간과 유사한 텍스트 생성 능력을 분석하고, 온라인 시험 신뢰성에 대한 시사점과 잠재적 완화책을 논의한다.

ABSTRACT

This study evaluated the ability of ChatGPT, a recently developed artificial intelligence (AI) agent, to perform high-level cognitive tasks and produce text that is indistinguishable from human-generated text. This capacity raises concerns about the potential use of ChatGPT as a tool for academic misconduct in online exams. The study found that ChatGPT is capable of exhibiting critical thinking skills and generating highly realistic text with minimal input, making it a potential threat to the integrity of online exams, particularly in tertiary education settings where such exams are becoming more prevalent. Returning to invigilated and oral exams could form part of the solution, while using advanced proctoring techniques and AI-text output detectors may be effective in addressing this issue, they are not likely to be foolproof solutions. Further research is needed to fully understand the implications of large language models like ChatGPT and to devise strategies for combating the risk of cheating using these tools. It is crucial for educators and institutions to be aware of the possibility of ChatGPT being used for cheating and to investigate measures to address it in order to maintain the fairness and validity of online exams for all students.

연구 동기 및 목표

• 다양한 학문 분야에 걸친 고품질의 학부 수준 비판적 사고 문제를 ChatGPT가 생성하고 답하는 능력을 평가한다.
• ChatGPT가 보편적 지적 기준을 사용하여 자신의 응답을 비판적으로 평가할 수 있는지 평가한다.
• 고등교육에서 온라인 시험의 신뢰성에 대한 시사를 탐색하고 현재의 완화 전략을 평가한다.
• 평가의 공정성에 대한 위험을 다루기 위한 향후 연구 및 정책 방향을 제시한다.

제안 방법

• 다양한 학문 분야에 대해 어렵고 비판적 사고를 요하는 질문을 생성하도록 ChatGPT 계정을 만들고 프롬프트를 제시한다.
• ChatGPT가 자신의 질문에 대해 상세한 답을 제공하고 그런 답을 비판적으로 평가하게 한다.
• 응답을 평가하기 위해 보편적 지적 표준(관련성, 명확성, 정확성, 정밀성, 깊이, 넓이, 논리성, 설득력, 창의성)을 적용한다.
• 교육, 기계 학습, 역사, 마케팅에 걸친 응답을 분석하여 능력과 한계를 설명한다.
• 온라인 시험에 대한 시사점과 감독 및 AI 탐지 도구의 완화책으로서의 효과를 논의한다.

실험 결과

연구 질문

• RQ1 ChatGPT가 학부생을 위한 도전적이고 학문 분야별로 구체화된 비판적 사고 질문을 생성할 수 있는가?
• RQ2 ChatGPT가 자신의 질문에 응집력 있고 체계적인 답을 제시할 수 있는가?
• RQ3 ChatGPT가 자신의 응답을 비판적으로 평가하고 건설적인 개선 제안을 제공할 수 있는가?
• RQ4 ChatGPT의 능력이 온라인 시험의 신뢰성과 현재의 완화 전략에 어떤 시사점을 갖는가?

주요 결과

• ChatGPT는 학부생을 위한 학문 분야별로 구체화된 도전적인 비판적 사고 질문을 생성할 수 있다.
• ChatGPT는 자신의 질문에 대해 상세하고 응집력 있는 500단어 답을 제시할 수 있다.
• ChatGPT는 자신의 답변을 비판적으로 평가하고 강점, 약점 및 개선 제안을 제시할 수 있다.
• 시연된 능력은 고등교육에서 온라인 시험의 신뢰성에 잠재적 위협이 될 수 있다.
• 현재의 완화 전략(감독 하에 진행되는 시험, 감독, AI 탐지)은 AI 생성 부정행위에 대해 완벽하지 않을 수 있으며; 추가 연구가 필요하다.