[논문 리뷰] The end of multiple choice tests: using AI to enhance assessment

Michael W. Klymkowsky, Melanie M. Cooper|arXiv (Cornell University)|2024. 06. 11.

Artificial Intelligence in HealthcareHealth Professions인용 수 3

한 줄 요약

이 논문은 전통적인 다중선택지 시험에서 드러나지 않는 오개념을 밝혀내는 데 실패한다는 한계를 보완하기 위해, 학생이 자신의 답변에 대한 설명을 제시하는 방식을 AI로 분석하는 방법을 제안한다. 과학적 개념에 맞춰 미세조정된 AI 봇을 사용하여 오개념을 식별하고 실질적인 피드백을 제공함으로써, 개념 이해의 격차를 진단할 수 있는 실용적인 평가 방법을 제시한다. 개념 검증 연구를 통해 AI가 분석한 설명은 빠르고 통찰력 있으며, 형성적 평가 데이터를 제공하는 것으로 입증되었다.

ABSTRACT

Effective teaching relies on knowing what students know-or think they know. Revealing student thinking is challenging. Often used because of their ease of grading, even the best multiple choice (MC) tests, those using research based distractors (wrong answers) are intrinsically limited in the insights they provide due to two factors. When distractors do not reflect student beliefs they can be ignored, increasing the likelihood that the correct answer will be chosen by chance. Moreover, making the correct choice does not guarantee that the student understands why it is correct. To address these limitations, we recommend asking students to explain why they chose their answer, and why "wrong" choices are wrong. Using a discipline-trained artificial intelligence-based bot it is possible to analyze their explanations, identifying the concepts and scientific principles that maybe missing or misapplied. The bot also makes suggestions for how instructors can use these data to better guide student thinking. In a small "proof of concept" study, we tested this approach using questions from the Biology Concepts Instrument (BCI). The result was rapid, informative, and provided actionable feedback on student thinking. It appears that the use of AI addresses the weaknesses of conventional MC test. It seems likely that incorporating AI-analyzed formative assessments will lead to improved overall learning outcomes.

연구 동기 및 목표

• 기존 다중선택지 시험의 한계로 인해 학생의 오개념과 이해도를 드러내지 못하는 문제를 해결하기 위해.
• 정답/오답 이외의 학생의 사고 과정을 포착할 수 있는 확장 가능한 형성적 평가 방법을 개발하기 위해.
• AI를 활용해 학생의 설명을 분석하고 개념적 이해의 격차를 식별하기 위해.
• 학습자의 사고 패턴을 바탕으로 강사가 실질적인 피드백을 받을 수 있도록 하기 위해.
• 실제 교육 현장에서 AI 기반 다중선택지 평가의 가능성과 가치를 입증하기 위해.

제안 방법

• 학생들은 다중선택지 문제를 선택하고, 자신의 사고 과정과 잘못된 선택지를 왜 잘못된지 설명하도록 한다.
• 분야별 과학적 내용에 맞춰 미세조정된 AI 기반 봇이 설명의 개념적 정확성과 사고 패턴을 분석한다.
• AI는 부족하거나 잘못 적용된 과학 원리를 식별하고 자연어 처리 기법을 사용해 오개념을 분류한다.
• 시스템은 강사에게 공통적인 오개념과 학습 격차에 대한 구조화된 피드백을 생성한다.
• 개념 검증 연구에서 검증을 위해 생물학 개념 도구(Biology Concepts Instrument, BCI)를 시험용으로 사용한다.
• 결과는 학급 전체의 학생 사고 방식에 대한 실시간 통찰을 강사가 확보할 수 있도록 집계된다.

실험 결과

연구 질문

• RQ1 AI는 다중선택지 답변에 대한 학생의 설명을 효과적으로 분석하여 오개념을 식별할 수 있는가?
• RQ2 설명 분석을 통합함으로써 다중선택지 평가의 진단적 가치가 향상되는가?
• RQ3 AI가 생성한 피드백은 강사가 특정 개념적 오해를 더 효과적으로 진단하는 데 도움이 되는가?
• RQ4 교실 환경에서 AI는 학생의 설명을 얼마나 빠르고 신뢰성 있게 처리할 수 있는가?
• RQ5 기존 다중선택지 시험에 비해 이 방법은 형성적 평가를 어느 정도 향상시키는가?

주요 결과

• AI 기반 학생 설명 분석은 정답/오답 점수만으로는 드러나지 않는 오개념과 개념적 격차를 성공적으로 식별했다.
• 시스템은 강사가 즉각적으로 대응할 수 있는 실질적인 피드백을 제공하여, 맞춤형 수업 개선 조치를 가능하게 했다.
• 개념 검증 연구에서 이 방법은 기존 다중선택지 시험으로는 간과할 수 있는 세밀한 사고 패턴을 드러냈다.
• 학생들이 잘못된 선택지를 왜 잘못된지 설명하는 과정이 오개념을 진단하는 데 특히 유용한 정보를 제공했다.
• AI 통합은 다중선택지 평가의 진단 능력을 높였지만, 확장성은 유지했다.
• 결과적으로 AI 분석을 통한 형성적 평가는 초기 단계에서 오해를 바로 잡음으로써 학습 성과 향상에 기여할 수 있음을 시사한다.