[논문 리뷰] Validating an Instrument for Teachers' Acceptance of Artificial Intelligence in Education

Shuchen Guo, Lehong Shi외 1명|arXiv (Cornell University)|2024. 06. 15.

Online Learning and Analytics인용 수 5

한 줄 요약

이 연구는 274명의 예비교사를 대상으로 CFA 및 항목 분석에서 강한 타당도와 신뢰도 증거를 가진, 교육에서 AI에 대한 교사의 수용을 다섯 차원으로 측정하는 27항목 도구를 개발하고 검증합니다.

ABSTRACT

As artificial intelligence (AI) receives wider attention in education, examining teachers' acceptance of AI (TAAI) becomes essential. However, existing instruments measuring TAAI reported limited reliability and validity evidence and faced some design challenges, such as missing informed definitions of AI to participants. This study aimed to develop and validate a TAAI instrument, with providing sufficient evidence for high psychometric quality. Based on the literature, we first identified five dimensions of TAAI, including perceived usefulness, perceived ease of use, behavioral intention, self-efficacy, and anxiety, and then developed items to assess each dimension. We examined the face and content validity using expert review and think-aloud with pre-service teachers. Using the revised instrument, we collected responses from 274 pre-service teachers and examined the item discriminations to identify outlier items. We employed the confirmatory factor analysis and Cronbach's alpha to examine the construct validity, convergent validity, discriminant validity, and reliability. Results confirmed the dimensionality of the scale, resulting in 27 items distributed in five dimensions. The study exhibits robust validity and reliability evidence for TAAI, thus affirming its usefulness as a valid measurement instrument.

연구 동기 및 목표

• TAM을 기반으로 한 교육에서 교사의 AI 수용(TAAI)에 대한 이론적 프레임워크 정의.
• 다섯 차원에서 항목 개발: 인지된 유용성, 인지된 사용 용이성, 행동 의도, 자기효능감, 불안.
• 전문가 검토 및 생각소리 인터뷰를 통해 표면/content 타당도 확보.
• 현장 데이터를 이용해 확인적 요인분석과 신뢰도 분석으로 심리측정 특성 평가.
• 강한 타당도 증거를 가진 TAAI의 견고하고 검증된 측정 도구 제공.

제안 방법

• 문헌 및 TAM 기반 프레이밍을 통해 TAAI의 다섯 차원을 식별.
• AI 교육에 대한 응답자의 이해를 돕기 위한 읽기 자극을 포함한 32항목 도구를 개발.
• 전문가 검토 및 예비교사와의 생각소리 인터뷰를 통해 표면/내용 타당성 확보.
• 도구를 274개의 유효 응답에 administer하고 이상치를 탐지하기 위한 항목 분석 수행.
• 구성 타당성, 수렴 타당성, 판별 타당성 및 신뢰성을 평가하기 위해 CFA(WLSMV)와 Cronbach의 알파를 사용; 적합하지 않은 항목 제거로 좋은 적합도 달성.

실험 결과

연구 질문

• RQ1 TAAI 항목의 심리계측적 특징은 무엇인가?
• RQ2 도구 항목은 교사의 AI 수용을 평가하는 데 얼마나 신뢰할 수 있는가?
• RQ3 도구 항목은 교사의 AI 수용을 평가하는 데 얼마나 타당한가?

주요 결과

• 최종 TAAI 도구는 다섯 하위 차원에 걸쳐 27개 항목으로 구성된다.
• CFA는 모델 적합도가 양호함을 나타낸다: RMSEA 0.061, CFI 0.981, TLI 0.979, SRMSR 0.051, χ2/df = 2.00.
• 항목 표준화 적재값은 요인 간 0.60에서 0.94까지 범위.
• 전반적 도구 신뢰도는 0.92; 하위 차원 PU(0.88), PEU(0.91), BI(0.91), SE(0.91), AN(0.77).
• 모든 항목에서 항목 구분이 유의함(상위 vs 하위 27%).
• 수렴 타당성은 AVE > 0.5 및 CR 값이 임계치를 충족하는 것으로 뒷받침된다.