[논문 리뷰] MAILS -- Meta AI Literacy Scale: Development and Testing of an AI Literacy Questionnaire Based on Well-Founded Competency Models and Psychological Change- and Meta-Competencies

Astrid Carolus, Martin Koch외 3명|arXiv (Cornell University)|2023. 02. 18.

Ethics and Social Impacts of AI인용 수 12

한 줄 요약

이 논문은 MAILS 설문지를 개발하고 검증하여 AI 리터러시를 평가하며, 표준 AI-리터러시 측면을 심리적 변화 및 메타 역량과 결합하고, 300명의 독일어권 성인을 대상으로 확인적 요인분석을 사용했다.

ABSTRACT

The goal of the present paper is to develop and validate a questionnaire to assess AI literacy. In particular, the questionnaire should be deeply grounded in the existing literature on AI literacy, should be modular (i.e., including different facets that can be used independently of each other) to be flexibly applicable in professional life depending on the goals and use cases, and should meet psychological requirements and thus includes further psychological competencies in addition to the typical facets of AIL. We derived 60 items to represent different facets of AI Literacy according to Ng and colleagues conceptualisation of AI literacy and additional 12 items to represent psychological competencies such as problem solving, learning, and emotion regulation in regard to AI. For this purpose, data were collected online from 300 German-speaking adults. The items were tested for factorial structure in confirmatory factor analyses. The result is a measurement instrument that measures AI literacy with the facets Use & apply AI, Understand AI, Detect AI, and AI Ethics and the ability to Create AI as a separate construct, and AI Self-efficacy in learning and problem solving and AI Self-management. This study contributes to the research on AI literacy by providing a measurement instrument relying on profound competency models. In addition, higher-order psychological competencies are included that are particularly important in the context of pervasive change through AI systems.

연구 동기 및 목표

• AI 리터러시 설문지를 확립된 역량 모델과 심리적 요인에 기반하도록 하기.
• 직업 현장에서 독립적으로 사용할 수 있도록 모듈식 특성을 가진 도구를 만들기.
• 표준 리터러시 특성에 더해 심리적 변화- 및 메타 역량을 통합하여 AI 리터러시 측정을 확장하기.
• 60항 AI-리터러시 항목 세트와 12개 심리-역량 항목을 도출하고 검증하기.
• 실세계 설정에서 AI 리터시 및 관련 심리 역량을 평가하기 위한 사용 가능한 측정 도구를 제공하기.

제안 방법

• Ng 등(Ng et al.)의 AI 리터러시 프레임워크를 바탕으로 한 항목 개발 및 추가 심리 역량 포함.
• 300명의 독일어권 성인을 대상으로 온라인 데이터 수집.
• 항목 세트의 요인 구조를 검증하기 위한 확인적 요인 분석.
• 다중 특성과 구성으로 측정 도구를 확립하기 위한 모델 테스트.
• 학습 및 문제 해결에서의 AI 자기효능감과 같은 더 넓은 구성 및 AI 자기관리를 포함.

실험 결과

연구 질문

• RQ1 MAILS가 확립된 프레임워크에 의해 정의된 AI 리터러시의 독립된 측면(Use & Apply AI, Understand AI, Detect AI, AI Ethics, Create AI)을 포착하는가?
• RQ2 제시된 심리적 역량(예: 문제 해결, 학습, AI와 관련된 정서 조절)이 측정 가능하고 신뢰할 수 있는가?
• RQ3 확인적 요인 분석이 MAILS의 가설된 요인 구조 및 모듈성을 지지하는가?
• RQ4 모듈식 설계로 인해 MAILS가 전문적 환경에서 유연하게 사용될 수 있는가?

주요 결과

• MAILS는 Use & Apply AI, Understand AI, Detect AI, AI Ethics, 및 Create AI를 별도의 구성으로 구성하는 요인 구조를 산출한다.
• AI와 관련된 심리적 역량(예: 문제 해결, 학습, 정서 조절)은 AI 리터러시 특성과 함께 측정 가능하다.
• 이 도구는 300명의 독일어권 성인 표본에서 검증된 측정 모델을 보여준다.
• 설문지는 모듈식으로 되어 있어 다양한 목표와 직업 환경의 사용 사례에 따라 서로 다른 특성을 독립적으로 사용할 수 있다.