[論文レビュー] GLAT: The Generative AI Literacy Assessment Test

Yueqiao Jin, Roberto Martínez‐Maldonado+2 more|arXiv (Cornell University)|Nov 1, 2024

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本論文は、高等教育分野における生成AI（GenAI）リテラシーを評価するための、20項目のパフォーマンスベースの多肢選択式テストであるGLATを紹介する。古典的テスト理論および項目反応理論を用いて開発されたGLATは、高い信頼性（Cronbach’s alpha = 0.80）と妥当性を示し、実際のGenAI支援タスクにおけるパフォーマンスを予測する上で、自己報告による測定法を上回っている。

ABSTRACT

The rapid integration of generative artificial intelligence (GenAI) technology into education necessitates precise measurement of GenAI literacy to ensure that learners and educators possess the skills to engage with and critically evaluate this transformative technology effectively. Existing instruments often rely on self-reports, which may be biased. In this study, we present the GenAI Literacy Assessment Test (GLAT), a 20-item multiple-choice instrument developed following established procedures in psychological and educational measurement. Structural validity and reliability were confirmed with responses from 355 higher education students using classical test theory and item response theory, resulting in a reliable 2-parameter logistic (2PL) model (Cronbach's alpha = 0.80; omega total = 0.81) with a robust factor structure (RMSEA = 0.03; CFI = 0.97). Critically, GLAT scores were found to be significant predictors of learners' performance in GenAI-supported tasks, outperforming self-reported measures such as perceived ChatGPT proficiency and demonstrating external validity. These results suggest that GLAT offers a reliable and valid method for assessing GenAI literacy, with the potential to inform educational practices and policy decisions that aim to enhance learners' and educators' GenAI literacy, ultimately equipping them to navigate an AI-enhanced future.

研究の動機と目的

• 高等教育分野における実際のGenAIリテラシーを測定する信頼性と妥当性に優れたインSTRUMENTの不足に応えること。
• 自己報告によるAIリテラシー調査に内在するバイアスを克服するパフォーマンスベースの評価ツールを開発すること。
• 古典的テスト理論および項目反応理論を含む厳密な心理測定手法を用いて、インSTRUMENTの妥当性を検証すること。
• GenAI支援学習タスクにおける実際のパフォーマンスと関連付けることで、外部妥当性を確立すること。
• 教育者や研究者らが、学術的文脈においてGenAIリテラシーを診断・向上させるための信頼性の高いツールを入手できるようにすること。

提案手法

• 確立された心理的および教育的測定原理に基づき、20項目の多肢選択式インSTRUMENTを開発した。
• 心理測定的妥当性のデータ収集のため、355名の高等教育機関の学生にテストを実施した。
• 古典的テスト理論を用いて内部整合性と信頼性を評価し、Cronbach’s alpha = 0.80およびomega total = 0.81の結果が得られた。
• 項目反応理論を用いて2パラメータロジスティック（2PL）モデルを適合させ、RMSEA = 0.03およびCFI = 0.97の結果により、強固な要因構造が確認された。
• GenAI支援タスク（チャットボットおよびビジュアルアナリティクスを含む）における実際のパフォーマンスとGLATスコアの相関を分析することで、外部妥当性を検証した。
• 基礎的知識、プロンプト工学、GenAI出力の倫理的評価を含む多様な認知的ドメインにおいて、インSTRUMENTの妥当性を検証した。

Figure 1: The participant sample size and focus of each validation study.

実験結果

リサーチクエスチョン

• RQ1 パフォーマンスベースの評価は、高等教育機関の学生における実際のGenAIリテラシーを信頼性高く測定できるか？
• RQ2 GLATは、自己報告による測定法と比較して、構造的妥当性および内部整合性においてどのように機能するか？
• RQ3 GLATスコアは、実際のGenAI支援学習タスクにおける学習者のパフォーマンスをどの程度正確に予測できるか？
• RQ4 GLATスコアは、自己報告のChatGPT習熟度と比較して、実際のタスクパフォーマンスを予測する上で優れているか？
• RQ5 現在の自己報告型AIリテラシーインSTRUMENTには、真のGenAI能力を捉える上でどのような限界があるか？

主な発見

• GLATは、Cronbach’s alphaが0.80、omega totalが0.81であったため、高い信頼性を示す内部整合性を示した。
• インSTRUMENTは優れた構造的妥当性を示し、近似平均平方誤差（RMSEA）が0.03、比較的適合指数（CFI）が0.97であった。
• GLATスコアは、GenAI支援タスクにおける学習者のパフォーマンスの有意な予測要因であった。自己報告のChatGPT習熟度を上回った。
• 2PLモデルはデータに適切に適合しており、テスト対象集団全体でインSTRUMENTの心理測定的堅牢性が確認された。
• 外部妥当性は、GenAI文脈における実際のタスクパフォーマンスとGLATスコアとの間に有意な正の相関関係が認められたことで確立された。
• 本研究は、自己報告よりも正確に真のGenAIリテラシー能力を測定できるパフォーマンスベースの評価（GLATなど）の有効性を確認している。

Figure 2: Visual analytics on teamwork in healthcare simulations, including: a) a bar chart of four prioritisation strategies, b) a social network diagram of communication behaviours among the actors, and c) a ward map showing individuals’ physical positions (hexagon), verbal communication duration