[논문 리뷰] ChatGPT in the Classroom: An Analysis of Its Strengths and Weaknesses for Solving Undergraduate Computer Science Questions

Ishika Joshi, Ritvik Budhiraja외 6명|arXiv (Cornell University)|2023. 04. 28.

Artificial Intelligence in Healthcare and Education인용 수 7

한 줄 요약

이 연구는 다양한 학부 컴퓨터 과학 질문 유형을 대상으로 한 정량적 접근을 통해 ChatGPT의 정확성과 신뢰성을 평가한다. 특히 객관식 및 코딩 질문에서 뚜렷한 오류가 발생함을 확인하였으며, 과도한 의존으로 인한 자기 파탄 위험을 경고한다. 반면, 해법 생성보다는 아이디어 도출과 설명에 보조적으로 활용하는 전략적 접근을 권장한다.

ABSTRACT

ChatGPT is an AI language model developed by OpenAI that can understand and generate human-like text. It can be used for a variety of use cases such as language generation, question answering, text summarization, chatbot development, language translation, sentiment analysis, content creation, personalization, text completion, and storytelling. While ChatGPT has garnered significant positive attention, it has also generated a sense of apprehension and uncertainty in academic circles. There is concern that students may leverage ChatGPT to complete take-home assignments and exams and obtain favorable grades without genuinely acquiring knowledge. This paper adopts a quantitative approach to demonstrate ChatGPT's high degree of unreliability in answering a diverse range of questions pertaining to topics in undergraduate computer science. Our analysis shows that students may risk self-sabotage by blindly depending on ChatGPT to complete assignments and exams. We build upon this analysis to provide constructive recommendations to both students and instructors.

연구 동기 및 목표

• 다양한 형식의 학부 컴퓨터 과학 질문에 대해 ChatGPT의 신뢰성 평가
• 과제 및 시험에서 ChatGPT에 대한 과도한 의존과 관련된 위험, 학습 저해 및 학술 윤리 침해 포함
• 학생과 교사가 ChatGPT를 이해를 훼손하지 않으면서 학습을 향상시키기 위해 어떻게 유의미하게 활용할 수 있는지에 대한 근거 기반 권고 제공
• 프롬프트 설계 및 질문 유형이 ChatGPT의 응답 정확성과 일관성에 미치는 영향 평가

제안 방법

• 다양한 질문 유형(진위, 다중선택, 다중선택, 단답, 장문답, 설계 기반, 코딩 관련)에 대해 ChatGPT의 응답을 평가하기 위한 정량적 평가 프레임워크 개발
• 실제 세계의 관련성을 확보하기 위해 핵심 학부 컴퓨터 과학 과정, 코딩 인터뷰, 경쟁 시험 문제에서 질문 선정
• 사실적 정확성, 논리적 일관성, 완전성 측면에서 체계적으로 분석하며, 환상 및 추론 오류 식별에 중점을 두었음
• 오답 기준 솔루션과의 비교를 통해 다양한 질문 형식에서의 오류율과 신뢰성 측정
• 프롬프트 어조 및 맥락적 신호가 응답 품질과 일관성에 미치는 영향 평가 포함

실험 결과

연구 질문

• RQ1 ChatGPT가 다양한 유형의 컴퓨터 과학 질문에 답변할 때의 강점과 약점은 무엇인가요?
• RQ2 다중선택, 코딩, 설계 기반 질문과 같은 다양한 질문 형식에서 ChatGPT의 성능는 어떻게 변화하나요?
• RQ3 학생들이 과제 및 시험에서 ChatGPT에 의존할 경우, 학습 성과 및 학술 윤리 측면에서 어떤 위험이 존재하나요?
• RQ4 학생과 교사가 ChatGPT를 어떻게 체계적으로 활용하여 컴퓨터 과학 교육의 교수·학습을 향상시킬 수 있나요?

주요 결과

• ChatGPT는 객관식 및 코딩 관련 질문에 대해 높은 부정확성을 보였으며, 상세한 설명을 제공함에도 불구하고 뚜렷한 오류율을 보였다.
• 다중선택 및 진위 질문에서는 설명이 유력하고 잘 구성되어 있음에도 불구하고 자주 잘못된 답변을 선택하였다.
• 단답 및 장문답 질문에서는 응답이 종종 길어지고 맥락적으로 타당해 보였지만 사실적으로 잘못된 경우가 많아 학생들을 오도할 위험이 있음을 시사했다.
• 추론 기반 및 설계 중심 질문에서는 특히 올바른 원칙이나 제약 조건을 적용하지 못하는 데 약점을 보였다.
• 코딩 과제에서는 문법적으로는 올바른 코드를 생성했지만 논리적 오류 또는 잘못된 해결책을 제시하는 경우가 많았으며, 특히 복잡한 알고리즘 문제에서 두드러졌다.
• 연구에서는 프롬프트 어조가 응답 품질에 상당한 영향을 미치는 것으로 확인되었으며, 미세한 변화가 일관성 없거나 잘못된 답변을 유도할 수 있었다.