[論文レビュー] The AI Assessment Scale (AIAS) in action: A pilot implementation of GenAI supported assessment- A Preprint

Leon Furze, Mike Perkins+2 more|arXiv (Cornell University)|Mar 15, 2024

Artificial Intelligence in Healthcare and Education被引用数 5

ひとこと要約

本論文は、英国外国大学ベトナム校（British University Vietnam）で AI Assessment Scale (AIAS) を用いて GenAI 統合評価を導くパイロット研究を報告し、不正行為の抑制と達成度およびモジュール合格率の改善を示している。

ABSTRACT

The rapid adoption of Generative Artificial Intelligence (GenAI) technologies in higher education has raised concerns about academic integrity, assessment practices, and student learning. Banning or blocking GenAI tools has proven ineffective, and punitive approaches ignore the potential benefits of these technologies. This paper presents the findings of a pilot study conducted at British University Vietnam (BUV) exploring the implementation of the Artificial Intelligence Assessment Scale (AIAS), a flexible framework for incorporating GenAI into educational assessments. The AIAS consists of five levels, ranging from 'No AI' to 'Full AI', enabling educators to design assessments that focus on areas requiring human input and critical thinking. Following the implementation of the AIAS, the pilot study results indicate a significant reduction in academic misconduct cases related to GenAI, a 5.9% increase in student attainment across the university, and a 33.3% increase in module passing rates. The AIAS facilitated a shift in pedagogical practices, with faculty members incorporating GenAI tools into their modules and students producing innovative multimodal submissions. The findings suggest that the AIAS can support the effective integration of GenAI in HE, promoting academic integrity while leveraging the technology's potential to enhance learning experiences. Refer to published version for final text.

研究の動機と目的

• 柔軟な AIAS フレームワークが高等教育の評価に GenAI を組み込む方法を調査する。
• AIAS 指導の評価が GenAI に関連する不正行為を減らすかを評価する。
• AIAS の実装による学生の達成度とモジュールの合格率への影響を評価する。
• GenAI ツールが統合されたときの教育実践と学生の作業パターンの変化を検討する。

提案手法

• 評価タスクを設計する際、'No AI' から 'Full AI' までの5段階の AIAS を採用する。
• British University Vietnam での高等教育におけるパイロット実施。
• 学術的誠実性、達成度、モジュールの合格率に関する指標を収集・分析する。
• GenAI 活用を含む授業実践と学生の提出物の変化を観察する。

実験結果

リサーチクエスチョン

• RQ1 AIAS の使用は高等教育の評価における GenAI に関連する学業上の不正行為を減らすか。
• RQ2 AIAS 指導の GenAI 統合が学生の達成度とモジュール合格率に与える影響は何か。
• RQ3 AIAS が適用されると教員の実践と評価設計はどのように進化するか。

主な発見

• GenAI に関連する学業上の不正行為の著しい減少。
• 大学全体で学生の達成度が5.9%向上。
• モジュールの合格率が33.3%上昇。
• 教員がモジュールに GenAI ツールを組み込み、学生がマルチモーダル提出物を作成する。
• AIAS は学術的誠実性と学習の向上を維持しつつ GenAI の統合を支援します。