[論文レビュー] MAILS -- Meta AI Literacy Scale: Development and Testing of an AI Literacy Questionnaire Based on Well-Founded Competency Models and Psychological Change- and Meta-Competencies

Astrid Carolus, Martin Koch+3 more|arXiv (Cornell University)|Feb 18, 2023

Ethics and Social Impacts of AI被引用数 12

ひとこと要約

本研究は、MAILS質問票を開発・妥当化してAIリテラシーを評価し、標準的なAIリテラシーファセットと心理的変容-およびメタ-能力を組み合わせ、300名のドイツ語話者成人を用い、確認的因子分析を実施した。

ABSTRACT

The goal of the present paper is to develop and validate a questionnaire to assess AI literacy. In particular, the questionnaire should be deeply grounded in the existing literature on AI literacy, should be modular (i.e., including different facets that can be used independently of each other) to be flexibly applicable in professional life depending on the goals and use cases, and should meet psychological requirements and thus includes further psychological competencies in addition to the typical facets of AIL. We derived 60 items to represent different facets of AI Literacy according to Ng and colleagues conceptualisation of AI literacy and additional 12 items to represent psychological competencies such as problem solving, learning, and emotion regulation in regard to AI. For this purpose, data were collected online from 300 German-speaking adults. The items were tested for factorial structure in confirmatory factor analyses. The result is a measurement instrument that measures AI literacy with the facets Use & apply AI, Understand AI, Detect AI, and AI Ethics and the ability to Create AI as a separate construct, and AI Self-efficacy in learning and problem solving and AI Self-management. This study contributes to the research on AI literacy by providing a measurement instrument relying on profound competency models. In addition, higher-order psychological competencies are included that are particularly important in the context of pervasive change through AI systems.

研究の動機と目的

• AIリテラシー質問票を確立された能力モデルと心理的要因に基づいて位置づける。
• 専門的文脈で独立して使用できるファセットを含むモジュラーな指標を作成する。
• 標準的なリテラシーファセットに加え、心理的変化-およびメタ-能力を組み込んでAIリテラシー測定を拡張する。
• 60項目のAIリテラシー項目セットと12の心理的-能力項目を導出・妥当化する。
• 実世界の設定でAIリテラシーと関連心理能力を評価するための実用的な測定ツールを提供する。

提案手法

• Ng et al.のAIリテラシーフレームワークに加え、追加の心理的能力を含む項目開発。
• 300名のドイツ語話者成人を対象にオンラインデータ収集。
• 項目セットの因子構造を検証するための確認的因子分析。
• 複数のファセットと構成概念を持つ測定ツールを確立するためのモデル検証。
• 学習におけるAI自己効力感・問題解決、AI自己管理などのより広い構成の包含。

実験結果

リサーチクエスチョン

• RQ1 MAILSは、確立されたフレームワークで定義されたAIリテラシーの異なるファセット（Use & Apply AI、Understand AI、Detect AI、AI Ethics、Create AI）を捉えているか？
• RQ2 提案された心理的能力（例：AIに関連する問題解決、学習、情動調整）が測定可能に独立し、信頼性があるか？
• RQ3 確認的因子分析は、MAILSの仮定された因子構造とモジュラリティを支持するか？
• RQ4 モジュラー設計ゆえに、専門的設定でMAILSを柔軟に使用できるかと、妥当な測定特性を維持できるか？

主な発見

• MAILSは、Use & Apply AI、Understand AI、Detect AI、AI Ethics、Create AIを別個の構成概念として含む因子構造を生み出す。
• AIに関連する心理的能力（例：問題解決、学習、情動調整）は、AIリテラシーのファセットとともに測定可能である。
• 本指標は、300名のドイツ語話者成人のサンプルで妥当な測定モデルを示す。
• 本質問票はモジュラーで、専門的文脈の多様な目的と使用ケースに合わせて異なるファセットを独立して使用可能。