[論文レビュー] The AI Assessment Scale Revisited: A Framework for Educational Assessment

Mike Perkins, Jasper Roe+1 more|arXiv (Cornell University)|Dec 12, 2024

Artificial Intelligence in Healthcare and Education被引用数 5

ひとこと要約

この論文は、教育者と学生の間の対話を促進し、GenAI の活用に関する教育者–学生の対話を導く新しい AI Assessment Scale（AIAS）を提示するとともに、進化する AI 能力に対応する評価の再設計を支援する新しいビジュアルガイドと洗練されたレベルを備えた更新版です。

ABSTRACT

Recent developments in Generative Artificial Intelligence (GenAI) have created significant uncertainty in education, particularly in terms of assessment practices. Against this backdrop, we present an updated version of the AI Assessment Scale (AIAS), a framework with two fundamental purposes: to facilitate open dialogue between educators and students about appropriate GenAI use and to support educators in redesigning assessments in an era of expanding AI capabilities. Grounded in social constructivist principles and designed with assessment validity in mind, the AIAS provides a structured yet flexible approach that can be adapted across different educational contexts. Building on implementation feedback from global adoption across both the K-12 and higher education contexts, this revision represents a significant change from the original AIAS. Among these changes is a new visual guide that moves beyond the original traffic light system and utilises a neutral colour palette that avoids implied hierarchies between the levels. The scale maintains five distinct levels of GenAI integration in assessment, from "No AI" to "AI Exploration", but has been refined to better reflect rapidly advancing technological capabilities and emerging pedagogical needs. This paper presents the theoretical foundations of the revised framework, provides detailed implementation guidance through practical vignettes, and discusses its limitations and future directions. As GenAI capabilities continue to expand, particularly in multimodal content generation, the AIAS offers a starting point for reimagining assessment design in an era of disruptive technologies.

研究の動機と目的

• 教育者と学生の間で、教育における適切な GenAI の使用について開かれた対話を促進する。
• K-12 および高等教育の文脈に適応可能な、改訂された検証志向の枠組みを提供する。
• 多様な評価環境で AIAS を実装するための実践的なガイダンスと小話を提供する。
• グローバルな導入からの実施フィードバックを反映し、進化する GenAI 能力に対応する。

提案手法

• 社会的構成主義の原理と評価の妥当性に基づいて枠組みを位置づける。
• No AI から AI Exploration までの5段階構造の改訂 AIAS を説明する。
• レベル間の階層性を示唆しない中立色のビジュアルガイドを導入する。
• 小話を通じて実践的な実装ガイダンスを提示する。
• 制限事項、今後の方向性、およびマルチモーダル GenAI の発展への適用性について論じる。

実験結果

リサーチクエスチョン

• RQ1 AIAS は教育における急速な GenAI 能力の進展を反映するようにどのように更新できるか？
• RQ2 AIAS は多様な教育コンテキストにおける対話と評価の再設計をどのように促進できるか？
• RQ3 改訂された AIAS の K-12 および高等教育への実装の実務的影響と制約は何か？
• RQ4 新しいビジュアルガイドは評価における AI 統合レベルの認識にどのような影響を与えるか？

主な発見

• AIAS は進化する GenAI 能力と教育的ニーズを反映するよう改訂された。
• 更新には、異なるレベルの順位付けを示唆しない中立的なビジュアルガイドが含まれている。
• 枠組みは No AI から AI Exploration までの 5 段階の GenAI 統合を維持している。
• 教育者が評価を再設計するのを支援する実践的な小話を通じて実装ガイダンスが提供される。
• この改訂はグローバルな導入フィードバックを基にし、評価の妥当性と構成主義の原理を強調する。