[論文レビュー] AI and Machine Learning for Next Generation Science Assessments

Xiaoming Zhai|arXiv (Cornell University)|Apr 23, 2024

Genetics, Bioinformatics, and Biomedical Research被引用数 6

ひとこと要約

この章は、AI/MLが次世代の三次元に整合した科学評価を可能にする方法を検討し、採点の正確さのための枠組みを提案し、将来の方向性と課題について論じる。

ABSTRACT

This chapter focuses on the transformative role of Artificial Intelligence (AI) and Machine Learning (ML) in science assessments. The paper begins with a discussion of the Framework for K-12 Science Education, which calls for a shift from conceptual learning to knowledge-in-use. This shift necessitates the development of new types of assessments that align with the Framework's three dimensions: science and engineering practices, disciplinary core ideas, and crosscutting concepts. The paper further highlights the limitations of traditional assessment methods like multiple-choice questions, which often fail to capture the complexities of scientific thinking and three-dimensional learning in science. It emphasizes the need for performance-based assessments that require students to engage in scientific practices like modeling, explanation, and argumentation. The paper achieves three major goals: reviewing the current state of ML-based assessments in science education, introducing a framework for scoring accuracy in ML-based automatic assessments, and discussing future directions and challenges. It delves into the evolution of ML-based automatic scoring systems, discussing various types of ML, like supervised, unsupervised, and semi-supervised learning. These systems can provide timely and objective feedback, thus alleviating the burden on teachers. The paper concludes by exploring pre-trained models like BERT and finetuned ChatGPT, which have shown promise in assessing students' written responses effectively.

研究の動機と目的

• 科学教育におけるMLベースの評価の現状と機会を評価する。
• MLベースの自動評価における採点の正確さを考慮するための枠組みを提案する。
• 科学評価にMLを導入する際の課題、方向性、倫理的配慮を特定する。

提案手法

• 科学の評価のためのMLベース自動採点システムの進化をレビューする。
• Machine-Human Agreement (MHA)の枠組みと、それを5つのカテゴリで調整する要因を説明する。
• 事前学習済みモデル（例：BERT）と自動採点におけるゼロショット/少数ショット手法を議論する。
• 採点における監視付き、教師なし、半教師付き、ゼロショット学習の利点と限界を要約する。
• 妥当性、公平性の問題と採用および継続的評価のガイドラインを強調する。

Figure 1: Assessment task: “Red dye diffusion” item screenshot (left), response interface (right), and a student response (bottom)(adapted from (Zhai, He, & Krajcik, 2022))

実験結果

リサーチクエスチョン

• RQ1 科学教育におけるMLベースの評価の現状と進化はどのようなものか。
• RQ2 MLベースの評価における採点の正確さ（MHA）はどのようにとらえ、改善できるか。
• RQ3 事前学習済みモデルとゼロショット/少数ショット手法は、科学課題の自動採点にどのような役割を果たすか。
• RQ4 MLベースの次世代科学評価の主な課題、倫理的配慮、および将来の方向性は何か。

主な発見

• MLベースの評価はタイムリーで客観的なフィードバックを提供し、教師の負担を軽減できる。
• 5カテゴリーの枠組み（外部特徴、内部特徴、受験者特徴、訓練/検証アプローチ、技術的特徴）が機械-人間の同意（MHA）を調整する。
• BERTのような事前学習モデルとファインチューニング済みChatGPTは、科学教育における書面回答の採点に有望を示している。
• ゼロショットおよび少数ショットのアプローチは非自明な採点精度を達成できる（例：MeNSP Cohen’s Kappa 0.30–0.57；few-shot 0.38）。
• 微調整されたドメイン特化のGPT-3.5モデルは複数のタスクでBERTを上回り、平均的な精度向上が報告されている（例：タスク全体で9.1%）。
• 主な課題にはモデルの一般化性、不均衡データ、MLベースの採点におけるユーザーガイドラインと透明性の必要性が含まれる。

Figure 2: Automatic scoring accuracy for science assessments involving different scientific practices