[논문 리뷰] The AI Assessment Scale Revisited: A Framework for Educational Assessment

Mike Perkins, Jasper Roe외 1명|arXiv (Cornell University)|2024. 12. 12.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

이 논문은 GenAI 사용에 관한 학습자-교사 대화를 안내하고, 발전하는 AI 능력에 대응해 평가를 재설계하는 데 도움을 주는 업데이트된 AI Assessment Scale (AIAS)을 제시하며, 새로운 시각 가이드와 다듬어진 레벨을 제공합니다.

ABSTRACT

Recent developments in Generative Artificial Intelligence (GenAI) have created significant uncertainty in education, particularly in terms of assessment practices. Against this backdrop, we present an updated version of the AI Assessment Scale (AIAS), a framework with two fundamental purposes: to facilitate open dialogue between educators and students about appropriate GenAI use and to support educators in redesigning assessments in an era of expanding AI capabilities. Grounded in social constructivist principles and designed with assessment validity in mind, the AIAS provides a structured yet flexible approach that can be adapted across different educational contexts. Building on implementation feedback from global adoption across both the K-12 and higher education contexts, this revision represents a significant change from the original AIAS. Among these changes is a new visual guide that moves beyond the original traffic light system and utilises a neutral colour palette that avoids implied hierarchies between the levels. The scale maintains five distinct levels of GenAI integration in assessment, from "No AI" to "AI Exploration", but has been refined to better reflect rapidly advancing technological capabilities and emerging pedagogical needs. This paper presents the theoretical foundations of the revised framework, provides detailed implementation guidance through practical vignettes, and discusses its limitations and future directions. As GenAI capabilities continue to expand, particularly in multimodal content generation, the AIAS offers a starting point for reimagining assessment design in an era of disruptive technologies.

연구 동기 및 목표

• 교육에서의 적절한 GenAI 사용에 대해 교사와 학생 간의 열린 대화를 촉진한다.
• K-12 및 고등교육 맥락 전반에 적응 가능한 개정된, 검증 지향 프레임워크를 제공한다.
• 다양한 평가 환경에서 AIAS를 구현하기 위한 실용적 지침과 사례를 제공한다.
• 전 세계 도입으로부터 얻은 실행 피드백을 반영하고 진화하는 GenAI 능력을 다룬다.

제안 방법

• 프레임워크를 사회구성주의 원리와 평가 타당성에 기반한다.
• No AI에서 AI Exploration까지 다섯 단계로 개정된 AIAS 구조를 설명한다.
• 수준 간의 내재된 서열화를 피하는 새로운 중립 색상의 시각 가이드를 도입한다.
• 사례를 통해 실용적인 구현 지침을 제시한다.
• 한계점, 향후 방향 및 다중 모듈 GenAI 발전에의 적용 가능성을 논의한다.

실험 결과

연구 질문

• RQ1 교육에서 급속히 발전하는 GenAI 능력을 반영하도록 AIAS를 어떻게 업데이트할 수 있는가?
• RQ2 AIAS가 다양한 교육 맥락에서 대화와 평가 재설계를 어떻게 촉진할 수 있는가?
• RQ3 개정된 AIAS를 K-12 및 고등교육에 구현하는 데 있어 실용적 시사점과 한계는 무엇인가?
• RQ4 새로운 시각 가이가 평가에서 AI 통합 수준에 대한 인식에 어떤 영향을 미치는가?

주요 결과

• AIAS는 진화하는 GenAI 능력과 교수학적 필요를 반영하도록 개정되었다.
• 업데이트에는 서로 다른 수준의 순위 부여를 피하는 새로운 중립 시각 가이드가 포함되어 있다.
• 프레임워크는 No AI에서 AI Exploration까지 다섯 단계의 GenAI 통합을 유지한다.
• 교사들이 평가 재설계를 지원하기 위한 실용적 사례를 통해 구현 지침이 제공된다.
• 개정안은 글로벌 도입 피드백에 기반하며 평가 타당성 및 구성주의 원리를 강조한다.