[論文レビュー] Responsible AI for Test Equity and Quality: The Duolingo English Test as a Case Study

Jill Burstein, Geoffrey T. LaFlair+3 more|arXiv (Cornell University)|Aug 28, 2024

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

この論文は、Duolingo English Test (DET)とそのResponsible AI (RAI)実践をケーススタディとして取り上げ、試験の公平性と品質を確保することを目指しています。

ABSTRACT

Artificial intelligence (AI) creates opportunities for assessments, such as efficiencies for item generation and scoring of spoken and written responses. At the same time, it poses risks (such as bias in AI-generated item content). Responsible AI (RAI) practices aim to mitigate risks associated with AI. This chapter addresses the critical role of RAI practices in achieving test quality (appropriateness of test score inferences), and test equity (fairness to all test takers). To illustrate, the chapter presents a case study using the Duolingo English Test (DET), an AI-powered, high-stakes English language assessment. The chapter discusses the DET RAI standards, their development and their relationship to domain-agnostic RAI principles. Further, it provides examples of specific RAI practices, showing how these practices meaningfully address the ethical principles of validity and reliability, fairness, privacy and security, and transparency and accountability standards to ensure test equity and quality.

研究の動機と目的

• リスクの高い評価における責任あるAIの必要性を動機づけ、試験の品質と公平性を守る。
• DETのRAI標準の開発と、それらとドメイン非依存のRAI原則との関係を説明する。
• RAI実践が正当な推論と公正な結果を支える主要な倫理原則にどのように対処しているかを示す。
• DETのRAIフレームワークが評価の透明性、説明責任、プライバシー、セキュリティにどのように寄与するかを示す。

提案手法

• DETのRAI標準を提示し、その開発を説明する。
• DETのRAI標準をより広範な、ドメイン非依存のRAI原則に関連付ける。
• DETに適用されたRAI実践の具体的な例を提供する。
• これらの実践が妥当性、信頼性、公平性、プライバシーとセキュリティ、透明性と説明責任をどのように支えるかを論じる。

実験結果

リサーチクエスチョン

• RQ1 DETの責任あるAI標準は、より広いドメイン非依存のRAI原則とどのように整合するか？
• RQ2 妥当性、信頼性、公平性、プライバシーとセキュリティ、透明性と説明責任に対処するために、DETで採用されている具体的なRAI実践は何か？
• RQ3 これらのRAI実践は、ハイリスクなAI主導の英語力評価における試験の公平性と品質にどのように寄与するか？

主な発見

• この章はDETのRAI標準とその開発プロセスを概説しています。
• DETに実装された具体的なRAI実践の例を提供します。
• これらの実践を、妥当性、信頼性、公平性、プライバシーとセキュリティ、透明性と説明責任という倫理原則と結びつけた議論です。
• 調査結果は、RAI実践がAI駆動の評価における試験の公平性と品質に意味のある形で寄与できることを示しています。