[논문 리뷰] Can an AI-tool grade assignments in an introductory physics course?

Gerd Kortemeyer|arXiv (Cornell University)|2023. 04. 21.

Educational Assessment and Pedagogy참고 문헌 24인용 수 4

한 줄 요약

이 연구는 GPT-4를 활용한 AI 보조 워크플로우를 통해 손글씨 물리 문제 해결 과정을 평가하는 방법을 탐구한다. OCR 변환을 시뮬레이션하고 AI 기반 피드백을 제공한다. GPT-4는 타당하고 형성적 피드백을 제공하지만, 고성과 평가에 있어서는 신뢰성이 떨어지므로 주로 初기 스크리닝 및 인간 검토를 위한 복잡한 해결 경로 탐지에 적합하다.

ABSTRACT

Problem solving is an integral part of any physics curriculum, and most physics instructors would likely agree that the associated learner competencies are best assessed by considering the solution path: not only the final solution matters, but also how the learner arrived there. Unfortunately, providing meaningful feedback on written derivations is much more labor and resource intensive than only grading the outcome: currently, the latter can be done by computer, while the former involves handwritten solutions that need to be graded by humans. This exploratory study proposes an AI-assisted workflow for grading written physics-problem solutions, and it evaluates the viability of the actual grading step using GPT-4. It is found that the AI-tool is capable of providing feedback that can be helpful in formative assessment scenarios, but that for summative scenarios, particularly those that are high-stakes, it should only be used for an initial round of grading that sorts and flags solution approaches.

연구 동기 및 목표

• GPT-4가 손글씨 물리 문제 해결 과정에 대해 의미 있는 피드백을 제공할 수 있는지 조사하기.
• 초보 물리 수업에서 OCR과 LLM을 통합한 AI 보조 평가 워크플로우의 실현 가능성을 평가하기.
• AI 평가가 형성적 평가와 성과 평가의 맥락에서 각각 얼마나 적합한지 결정하기.
• 현재 LLM이 해결 경로와 유도 과정을 높은 신뢰도로 평가하는 데에 미치는 한계를 규명하기.

제안 방법

• 연구는 GPT-4를 사용하여 프롬프트 반복을 통해 생성된 25개의 고유한 손글씨 스타일 물리 문제 해결 과정을 평가한다.
• 실제 OCR 테스트는 API 접근 제한으로 인해 수행되지 않았지만, OCR 처리 후 LaTeX 문서로 시뮬레이션하였다.
• 일致성과 이질적인 피드백을 탐지하기 위해 다중 독립 평가 라운드를 실시하였다.
• 피드백은 타당성, 완전성 및 기존 문제 해결 루브릭과의 일치성 측면에서 분석되었다.
• 스캐닝, OCR에서 LaTeX로의 변환, AI 평가를 통합한 워크플로우를 설계하였으며, 경고된 사례에 대해서는 인간의 중재가 가능하다.
• 시험의 무결성을 유지하기 위해 오프라인 종이 기반 평가를 대상으로 하였다.

실험 결과

연구 질문

• RQ1 GPT-4는 형성적 평가에 유용하고 타당한 피드백을 손글씨 물리 문제 해결 과정에 제공할 수 있는가?
• RQ2 동일한 해결 과정에 대해 GPT-4의 평가가 다중 독립 평가 라운드에서 일관된가?
• RQ3 GPT-4의 피드백은 물리 교육 분야에서 기존 문제 해결 루브릭과 어느 정도 일치하는가?
• RQ4 초보 물리 수업에서 GPT-4를 고성과 평가에 사용할 경우의 한계는 무엇인가?
• RQ5 AI 평가가 비표준 또는 이질적인 해결 경로를 효과적으로 탐지하여 이후 인간 검토를 위한 경고로 활용할 수 있는가?

주요 결과

• GPT-4는 물리 문제 해결 과정에 대해 타당한 서술형 피드백을 생성하여 형성적 평가에 활용 가능성을 보였다.
• AI의 피드백은 동일한 해결 과정에 대해 다중 평가 라운드에서 일관성이 없었으며, 동일한 해결 과정에 대한 평가가 변동성이 있음을 시사했다.
• GPT-4는 비표준 또는 결함이 있는 해결 경로를 자주 탐지하지 못하거나 정확히 평가하지 못했으며, 특히 전통적 접근 방식에서 벗어난 경우에 특히 그러했다.
• 시스템의 피드백은 종종 타당했지만, 고성과 평가에 요구되는 신뢰도를 확보하지 못했다.
• GPT-4는 전체 고성과 평가보다는 복잡하거나 이질적인 해결 경로를 경고하는 初기 스크리닝 단계에 가장 적합하다.
• 이 연구는 현재의 LLM, 예를 들어 GPT-4가 고성과 평가 맥락에서 인간 평가를 대체하기에는 아직 충분히 신뢰할 수 없다는 것을 확인하였으며, 특히 해결 경로가 평가의 핵심이 되는 경우 더욱 그러하다.