[논문 리뷰] Could an Artificial-Intelligence agent pass an introductory physics course?

Gerd Kortemeyer|arXiv (Cornell University)|2023. 01. 28.

Computational Physics and Python Applications인용 수 5

한 줄 요약

이 연구는 밀란주립대학교의 실제 강의 자료를 사용하여 채택된 표준 초급 미적분 기반 물리학 과정의 과제, 시험, 프로그래밍 과제를 해결함으로써 대규모 언어 모델인 ChatGPT가 이 과정에 합격할 수 있는지 평가한다. 유사한 설명을 제시하지만 지속적인 오해, 계산 오류, 메타인지 부족으로 인해 4.0 만점에 1.5점으로 낙제 수준의 성취를 보이며, 물리 교육이 암기 기반 문제 해결이 아닌 비판적 사고를 중시해야 한다는 점을 드러낸다.

ABSTRACT

Massive pre-trained language models have garnered attention and controversy due to their ability to generate human-like responses: attention due to their frequent indistinguishability from human-generated phraseology and narratives, and controversy due to the fact that their convincingly presented arguments and facts are frequently simply false. Just how human-like are these responses when it comes to dialogues about physics, in particular about the standard content of introductory physics courses? This study explores that question by having ChatGTP, the pre-eminent language model in 2023, work through representative assessment content of an actual calculus-based physics course and grading the responses in the same way human responses would be graded. As it turns out, ChatGPT would narrowly pass this course while exhibiting many of the preconceptions and errors of a beginning learner.

연구 동기 및 목표

• 최신 기술의 언어 모델인 ChatGPT가 표준 초급 미적분 기반 물리학 과정을 성공적으로 이수하고 합격할 수 있는지 평가하기 위해.
• 인간 학생과 비교하여 ChatGPT의 응답 품질과 정확도, 특히 개념적 이해, 문제 해결 전략, 계산 정확도 측면에서 평가하기 위해.
• AI가 생성한 응답이 초보자 물리 학습자에서 흔히 볼 수 있는 오해와 오류를 동일하게 보이는지 조사하기 위해.
• AI 성능이 물리 교육에 미치는 영향, 특히 평가 설계, 학술 윤리, 전문가 수준의 인지적 기술 개발 측면에서 고려하기 위해.
• AI 도구인 ChatGPT가 물리 교육의 목표를 뒤흔들거나 재구성하는지, 특히 비판적 평가와 메타인지 능력 기르기 측면에서 평가하기 위해.

제안 방법

• ChatGPT는 밀란주립대학교의 초학기 미적분 기반 물리학 과정에서 실제 사용된 과제, 클리커 질문, 기말 시험, 프로그래밍 연습 문제에 대해 프롬프트가 제공되었다.
• 응답은 인간 학생의 작업에 적용된 동일한 평가 기준을 사용하여 평가되었으며, 개념적 추론, 수학적 실행, 단위 사용 여부에 주의를 기울였다.
• 연구는 2023년 1월 9일자 ChatGPT 버전을 사용하여 평가 간 일관성과 재현 가능성을 확보하였다.
• 평가 요소는 문제 매개변수를 무작위로 설정하는 LON-CAPA 플랫폼에서 유래되었으며, 간단한 패atters 매칭을 방지하였다.
• ChatGPT의 응답은 차원 분석, 극한 경우 검토, 일관성 검증과 같은 전문가 문제 해결 전략과 일치하는지 분석되었다.
• 평가 과정에서 AI 응답은 일반적인 초보자 학생의 오류와 비교되었으며, 경로 의존성 오해, 단위 생략, 누적 반올림 오류 등이 포함되었다.

Figure 1: A sample ChatGPT dialogue about a homework problem. The entries labelled with a red “KO” are by the author, the entries labelled in green by ChatGPT.

실험 결과

연구 질문

• RQ1 실제 강의 자료를 사용하여 평가할 경우, 대규모 언어 모델인 ChatGPT가 표준 초급 미적분 기반 물리학 과정을 성공적으로 해결하고 합격할 수 있는가?
• RQ2 ChatGPT의 응답은 초보자 물리 학습자에서 흔히 볼 수 있는 오해와 오류를 어느 정도 반영하고 있는가?
• RQ3 개념적 추론, 계산 정확도, 문제 해결 전략 사용 측면에서 ChatGPT의 성능은 인간 학생과 비교해 어떻게 다른가?
• RQ4 AI 모델이 물리 과정에 합격하는 것이 평가 방식, 학술 윤리, 커리큘럼 설계에 어떤 영향을 미치는가?
• RQ5 ChatGPT는 어떤 방식으로 메타인지 부족을 보이며, 이는 응답의 신뢰성과 비판적 평가 능력에 어떤 영향을 미치는가?

주요 결과

• ChatGPT는 4.0 만점에 1.5점으로 초급 물리 과정 시리즈에 낙제 수준으로 합격하였다.
• 모델은 이동 거리 문제에서 방향 변화를 고려하지 않거나, 다단계 계산에서 반올림 오류를 잘못 이어가는 등 일반적인 초보자 오류를 보였다.
• ChatGPT는 응답에서 자주 단위를 생략했으며, 일부 변수(예: 속도)가 복귀 시간 문제에서 상쇄됨을 인식하지 못하고 단순 수치 대입 방식에 의존하였다.
• 유사한 설명을 제시할 수는 있지만, 정확한 답변과 마찬가지로 잘못되거나 오해의 소지가 있는 정보를 동일한 자신감으로 제시함으로써 메타인지 부족을 드러냈다.
• 프로그래밍 언어 훈련 덕분에 계산 기반 과제에서는 상대적으로 잘 수행되었으며, 이는 AI가 이미 인간 학생보다 프로그래밍 기반 물리 과제에서 앞서고 있음을 시사한다.
• 연구는 ChatGPT가 표준 평가를 통과할 수는 있지만, 깊은 개념적 이해가 아닌 패턴 기반 추론을 통해 이를 이룩하고 있음을 결론 내리며, 물리 교육에서 비판적 사고를 우선시해야 한다는 점을 강조한다.

Figure 2: Text-based transcription of a graphical problem. The left panel shows the online version of a final exam problem in LON-CAPA (the graph would be parametrically randomized), the right panel the transcription for ChatGPT, as well as the ensuing dialogue.