[논문 리뷰] AI and Machine Learning for Next Generation Science Assessments

Xiaoming Zhai|arXiv (Cornell University)|2024. 04. 23.

Genetics, Bioinformatics, and Biomedical Research인용 수 6

한 줄 요약

본 장은 AI/ML이 차세대 3차원 정렬 과학 평가를 가능하게 하는 방법을 검토하고, 정확도 점수 부여를 위한 프레임워크를 제안하며, 미래 방향과 도전에 대해 논의한다.

ABSTRACT

This chapter focuses on the transformative role of Artificial Intelligence (AI) and Machine Learning (ML) in science assessments. The paper begins with a discussion of the Framework for K-12 Science Education, which calls for a shift from conceptual learning to knowledge-in-use. This shift necessitates the development of new types of assessments that align with the Framework's three dimensions: science and engineering practices, disciplinary core ideas, and crosscutting concepts. The paper further highlights the limitations of traditional assessment methods like multiple-choice questions, which often fail to capture the complexities of scientific thinking and three-dimensional learning in science. It emphasizes the need for performance-based assessments that require students to engage in scientific practices like modeling, explanation, and argumentation. The paper achieves three major goals: reviewing the current state of ML-based assessments in science education, introducing a framework for scoring accuracy in ML-based automatic assessments, and discussing future directions and challenges. It delves into the evolution of ML-based automatic scoring systems, discussing various types of ML, like supervised, unsupervised, and semi-supervised learning. These systems can provide timely and objective feedback, thus alleviating the burden on teachers. The paper concludes by exploring pre-trained models like BERT and finetuned ChatGPT, which have shown promise in assessing students' written responses effectively.

연구 동기 및 목표

• 과학 교육에서 ML 기반 평가의 현재 상태와 기회를 평가한다.
• ML 기반 자동 평가에서 채점 정확도를 반영하는 프레임워크를 제안한다.
• 과학 평가에 ML을 도입할 때의 도전과제, 방향성 및 윤리적 고려사항을 식별한다.

제안 방법

• 과학 평가를 위한 ML 기반 자동 채점 시스템의 진화를 검토한다.
• Machine-Human Agreement (MHA)에 대한 프레임워크와 이를 조정하는 다섯 가지 범주의 요인들을 설명한다.
• 사전 학습된 모델(예: BERT)과 자동 채점의 제로샷/Few-shot 접근법에 대해 논의한다.
• 채점에서 감독학습, 비지도학습, 반감독학습, 제로샷 학습의 이점과 한계를 요약한다.
• 타당성, 공정성 문제 및 채택과 지속적 평가를 위한 지침을 강조한다.

Figure 1: Assessment task: “Red dye diffusion” item screenshot (left), response interface (right), and a student response (bottom)(adapted from (Zhai, He, & Krajcik, 2022))

실험 결과

연구 질문

• RQ1 과학 교육에서 ML 기반 평가의 현재 상태와 진화는 무엇인가?
• RQ2 ML 기반 평가에서 채점 정확도(MHA)를 어떻게 프레이밍하고 개선할 수 있는가?
• RQ3 사전 학습된 모델과 제로샷/ Few-shot 접근법이 과학 과제의 자동 채점에서 어떤 역할을 하는가?
• RQ4 ML 기반 차세대 과학 평가의 주요 도전과제, 윤리적 고려사항 및 향후 방향은 무엇인가?

주요 결과

• ML 기반 평가는 시의적절하고 객관적인 피드백을 제공하여 교사의 업무량을 줄일 수 있다.
• 다섯 가지 범주 프레임워크(외부 특성, 내부 특성, 응시자 특성, 훈련/검증 접근법, 기술적 특성)가 machine-human agreement (MHA)을 조절한다.
• BERT와 미세조정된 ChatGPT와 같은 사전 학습 모델은 과학 교육에서 서술형 응답 채점에 가능성을 보인다.
• 제로샷 및 퍼스트샷 접근은 비트리ivial 채점 정확도를 달성할 수 있다(예: MeNSP Cohen’s Kappa 0.30–0.57; few-shot 0.38).
• 도메인 특화 GPT-3.5 모델을 미세조정하면 다수의 작업에서 BERT보다 우수할 수 있으며, 보고된 평균 정확도 증가(예: 9.1% across tasks)이다.
• 주요 도전과제로는 모델 일반화성, 불균형 데이터, ML 기반 채점의 사용자 지침 및 투명성 필요성이 있다.

Figure 2: Automatic scoring accuracy for science assessments involving different scientific practices