[論文レビュー] The Rise of Artificial Intelligence in Educational Measurement: Opportunities and Ethical Challenges

Okan Bulut, Maggie Beiting-Parrish+15 more|arXiv (Cornell University)|Jun 27, 2024

Online Learning and Analytics被引用数 18

ひとこと要約

本論文は教育測定におけるAI活用の機会と倫理的課題を調査し、項目生成、自動採点、試験監視、フィードバックを扱い、偏り、透明性、公平性の懸念と提案された緩和策を強調している。

ABSTRACT

The integration of artificial intelligence (AI) in educational measurement has revolutionized assessment methods, enabling automated scoring, rapid content analysis, and personalized feedback through machine learning and natural language processing. These advancements provide timely, consistent feedback and valuable insights into student performance, thereby enhancing the assessment experience. However, the deployment of AI in education also raises significant ethical concerns regarding validity, reliability, transparency, fairness, and equity. Issues such as algorithmic bias and the opacity of AI decision-making processes pose risks of perpetuating inequalities and affecting assessment outcomes. Responding to these concerns, various stakeholders, including educators, policymakers, and organizations, have developed guidelines to ensure ethical AI use in education. The National Council of Measurement in Education's Special Interest Group on AI in Measurement and Education (AIME) also focuses on establishing ethical standards and advancing research in this area. In this paper, a diverse group of AIME members examines the ethical implications of AI-powered tools in educational measurement, explores significant challenges such as automation bias and environmental impact, and proposes solutions to ensure AI's responsible and effective use in education.

研究の動機と目的

• AIツールが評価実践を変革する中で、AI搭載の教育測定の倫理的検討を喚起する。
• 自動項目生成、マルチモーダル刺激、自動採点などのAIアプリケーションが教育現場でどのように機能するかを説明する。
• 偏見・公平性・透明性・試験の安全性・環境影響といった主要な倫理的懸念を特定し、緩和戦略を提案する。
• 評価における倫理的AI利用を統治するためのNCME、ITC、ATP、ETS、Duolingoなどの既存のガイドラインと標準を強調する。

提案手法

• 教育測定における現在のAI応用（AI生成、マルチモーダル刺激生成、自動採点）のレビューと統合。
• 専門組織（AERA/APA/NCME、ITC/ATP）の倫理フレームワークと標準、及び産業標準の議論。
• AI採点における偏りの種類と検出・是正の方法（DIF、フェアネスのタイプ、サブグループ分析）を分析。
• 人間とAIのパフォーマンスと根拠を対比するためのAP中国語採点を用いた事例。

Figure 1: A writing sample in Mandarin.

実験結果

リサーチクエスチョン

• RQ1 教育測定においてAIがもたらす主要な機会（項目生成、採点、フィードバック、試験監視）と、それに伴う倫理的リスクは何か。
• RQ2 AIベースの評価における偏りはどのように生じ、フェアネスをどのように定義・測定できるか、これらの偏りを緩和する戦略は何か。
• RQ3 教育測定におけるAIの倫理的利用を統治するガイドライン・標準・ベストプラクティスは何があり、どのように適用できるか。

主な発見

• AIは自動採点と迅速なコンテンツ分析を実現し、個別化されたフィードバックとスケーラブルな評価分析の可能性を提供する。
• 倫理的懸念には妥全性・信頼性・透明性・公平性・偏り・試験の安全性が含まれ、多くのAIモデルのブラックボックス性を考えると特に重要である。
• AI採点の偏りは歴史的要因、表現・測定・展開要因から生じうるため、厳密なDIF分析と公正性基準が必要。
• 著名な標準とガイドライン（AERA/APA/NCME、ITC/ATP、ETSのベストプラクティス、Duolingo責任あるAI標準）は検証、透明性、人的監視を求めている。
• 責任追跡性と公平性のリスクを緩和するために、人間を循環させるアプローチ、多様で偏りのないデータ、継続的なモニタリングが推奨される。

Figure 2: Rationales provided by ChatGPT 3.5.