[論文レビュー] Beyond Scores: Explainable Intelligent Assessment Strengthens Pre-service Teachers' Assessment Literacy

Yuang Wei, Wang, Fei, Ph. D. Massachusetts Institute of Technology+3 more|arXiv (Cornell University)|Mar 6, 2026

Student Assessment and Feedback被引用数 0

ひとこと要約

本論文はXIAという説明可能な知的評価プラットフォームを紹介し、前任教師の反省とエビデンスに基づく評価を支援する視覚化された認知診断的推論を追加した。21名の参加者を対象とした前後研究で実証。

ABSTRACT

Assessment literacy (AL) is essential for personalized education, yet difficult to cultivate in pre-service teachers. Conventional teacher preparation programs focus on theoretical knowledge, while digital assessment tools commonly provide opaque scores or parameters. These limitations hinder reflection and transfer, leaving AL underdeveloped. We propose XIA, an eXplainable Intelligent Assessment platform that extends statistics-informed support with visualized cognitive diagnostic reasoning, including contrastive and counterfactual explanations. In a pre-post controlled study with 21 pre-service teachers, we combined quantitative tasks and questionnaires with qualitative interviews. The findings offer preliminary evidence that XIA supported reflection, self-regulation, and assessment awareness, and helped reduce assessment errors. Interviews further showed a shift from score-based judgments toward evidence-based reasoning. This work contributes insights into the design of intelligent assessment tools, showing how explanatory scaffolding can bridge assessment theory and classroom practice and support the cultivation of AL in teacher education.

研究の動機と目的

• 教員養成における評価リテラシー（AL）の向上の必要性を、曖昧なスコアと実践への移行の限界を背景に動機づける。
• 説明可能な分析と認知診断的推論を統合したExplainable Intelligent Assessment（XIA）プラットフォームを提案する。
• 定量的タスク、質問紙、質的インタビューを組み合わせた前後対照研究を通じてALへの影響を評価する。
• 説明的支援スキャフォールドがAL開発における反省、自己規制、および証拠に基づく推論に与える影響を調査する。

提案手法

• 統計情報に基づく支援に視覚化された認知診断的推論を付加したXIAを導入する。
• 推論経路を照らす対比・反実仮想の説明を取り入れる。
• 前後対照研究を21名の前任教育者で実施する。
• 定量的タスクと質問紙を質的インタビューで補完する混合研究デザインを用いる。
• 反省、自己規制、評価意識、誤り削減の変化を分析する。

実験結果

リサーチクエスチョン

• RQ1 XIAは前任教育者の反省、自己規制、評価意識を向上させるか。
• RQ2 XIAは実践タスクにおける評価誤りの削減に寄与するか。
• RQ3 インタビューはXIA使用時にスコアに基づく判断からエビデンスに基づく推論への転換を示すか。
• RQ4 説明的スキャフォールドは評価理論と教室実践の橋渡しにどのように影響するか。

主な発見

• XIAが反省、自己規制、および評価意識の開発を支援する予備的な証拠。
• XIAはタスクにおける評価誤りの減少に寄与。
• インタビューはスコアに依存する判断からエビデンスに基づく推論への転換を示唆。
• 説明的スキャフォールドは評価理論と教室実践を結びつけるのを助けた。