[논문 리뷰] Responsible AI for Test Equity and Quality: The Duolingo English Test as a Case Study

Jill Burstein, Geoffrey T. LaFlair외 3명|arXiv (Cornell University)|2024. 08. 28.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

본 논문은 Duolingo 영어 시험(DET)과 그 책임 있는 AI(RAI) 활용 사례를 제시하여 시험 형평성과 품질 확보를 목표로 한다.

ABSTRACT

Artificial intelligence (AI) creates opportunities for assessments, such as efficiencies for item generation and scoring of spoken and written responses. At the same time, it poses risks (such as bias in AI-generated item content). Responsible AI (RAI) practices aim to mitigate risks associated with AI. This chapter addresses the critical role of RAI practices in achieving test quality (appropriateness of test score inferences), and test equity (fairness to all test takers). To illustrate, the chapter presents a case study using the Duolingo English Test (DET), an AI-powered, high-stakes English language assessment. The chapter discusses the DET RAI standards, their development and their relationship to domain-agnostic RAI principles. Further, it provides examples of specific RAI practices, showing how these practices meaningfully address the ethical principles of validity and reliability, fairness, privacy and security, and transparency and accountability standards to ensure test equity and quality.

연구 동기 및 목표

• 시험 질과 형평성을 보호하기 위해 고위험 평가에서 책임 있는 AI의 필요성을 고무한다.
• DET의 RAI 표준 개발과 이들이 도메인 비특화 RAI 원칙과의 관계를 설명한다.
• RAI 관행이 타당한 추론과 공정한 결과를 지원하기 위해 주요 윤리 원칙을 어떻게 다루는지 설명한다.
• DET의 RAI 프레임워크가 평가의 투명성, 책임성, 프라이버시 및 보안에 어떻게 기여하는지 보여준다.

제안 방법

• DET의 RAI 표준을 제시하고 그 개발 과정을 설명한다.
• DET RAI 표준을 더 넓고 도메인 비특화된 RAI 원칙에 연결한다.
• DET에 적용된 RAI 관행의 구체적 예를 제시한다.
• 이러한 관행이 타당성, 신뢰성, 공정성, 프라이버시 및 보안, 그리고 투명성과 책임성에 어떻게 기여하는지 논의한다.

실험 결과

연구 질문

• RQ1 DET의 Responsible AI 표준은 더 넓은 도메인 비특화 RAI 원칙과 어떻게 일치하는가?
• RQ2 타당성, 신뢰성, 공정성, 프라이버시 및 보안, 투명성과 책임성을 다루기 위해 DET에서 어떤 구체적인 RAI 관행이 적용되는가?
• RQ3 이러한 RAI 관행이 고위험 AI 기반 영어 평가에서 시험 형평성과 품질에 어떻게 기여하는가?

주요 결과

• 이 장은 DET의 RAI 표준과 그 개발 과정을 개요로 제시한다.
• DET에서 구현된 구체적 RAI 관행의 예를 제공한다.
• 논의는 이러한 관행을 타당성, 신뢰성, 공정성, 프라이버시 및 보안, 그리고 투명성과 책임성의 윤리 원칙과 연결한다.
• 발견은 RAI 관행이 AI 주도 평가에서 시험 형평성과 품질을 의미 있게 다룰 수 있음을 보여준다.