[논문 리뷰] Beyond Scores: Explainable Intelligent Assessment Strengthens Pre-service Teachers' Assessment Literacy

Yuang Wei, Wang, Fei, Ph. D. Massachusetts Institute of Technology외 3명|arXiv (Cornell University)|2026. 03. 06.

Student Assessment and Feedback인용 수 0

한 줄 요약

논문은 21-participant pre-post study에서 시연된 XIA, 반성과 근거 기반 평가를 지원하기 위해 시각화된 인지 진단 추론을 추가하는 설명 가능한 지능형 평가 플랫폼을 소개합니다.

ABSTRACT

Assessment literacy (AL) is essential for personalized education, yet difficult to cultivate in pre-service teachers. Conventional teacher preparation programs focus on theoretical knowledge, while digital assessment tools commonly provide opaque scores or parameters. These limitations hinder reflection and transfer, leaving AL underdeveloped. We propose XIA, an eXplainable Intelligent Assessment platform that extends statistics-informed support with visualized cognitive diagnostic reasoning, including contrastive and counterfactual explanations. In a pre-post controlled study with 21 pre-service teachers, we combined quantitative tasks and questionnaires with qualitative interviews. The findings offer preliminary evidence that XIA supported reflection, self-regulation, and assessment awareness, and helped reduce assessment errors. Interviews further showed a shift from score-based judgments toward evidence-based reasoning. This work contributes insights into the design of intelligent assessment tools, showing how explanatory scaffolding can bridge assessment theory and classroom practice and support the cultivation of AL in teacher education.

연구 동기 및 목표

• 교사 양성 과정에서 불투명한 점수와 실제 적용으로의 제한으로 인해 평가 역량(AL)이 더 강하게 필요하다는 동기를 제시한다.
• 설명 가능한 분석과 인지 진단적 추론을 통합한 설명 가능한 Intelligent Assessment (XIA) 플랫폼을 제안한다.
• 정량적 과제, 설문지, 질적 인터뷰를 결합한 사전-사후 통제 연구를 통해 AL에 대한 XIA의 영향을 평가한다.
• 설명적 발판이 AL 개발에서 성찰, 자기조절 및 근거 기반 추론에 어떤 영향을 미치는지 조사한다.

제안 방법

• 통계 정보 기반 지원을 시각화된 인지 진단 추론으로 확장하는 XIA를 도입한다.
• 추상적 대조 및 반사실적 설명을 도입하여 추론 경로를 밝힌다.
• 21명의 예비교사를 대상으로 한 사전-사후 통제 연구를 수행한다.
• 양적 과제와 설문과 함께 질적 인터뷰를 보완하는 혼합 방법 설계를 사용한다.
• 성찰, 자기조절, 평가 인식, 오류 감소의 변화를 분석한다.

실험 결과

연구 질문

• RQ1 XIA가 예비교사의 성찰, 자기조절 및 평가 인식을 향상시키는가?
• RQ2 XIA가 실제 과제에서 평가 오류를 줄이는 데 도움이 되는가?
• RQ3 인터뷰에서 XIA를 사용할 때 점수 중심의 판단에서 근거 기반 추론으로의 변화가 나타나는가?
• RQ4 설명적 발판이 평가 이론과 교실 실제 간의 다리를 어떻게 형성하는가?

주요 결과

• XIA가 성찰, 자기조절 및 평가 인식의 지원에 대한 예비적 증거를 제공했다.
• XIA가 과제에서 평가 오류 감소에 기여했다.
• 인터뷰에서 점수에 의존하는 것에서 근거 기반 추론으로의 전환이 나타났다.
• 설명적 발판이 평가 이론과 교실 실제를 연결하는 데 도움이 되었다.