[논문 리뷰] The Rise of Artificial Intelligence in Educational Measurement: Opportunities and Ethical Challenges

Okan Bulut, Maggie Beiting-Parrish외 15명|arXiv (Cornell University)|2024. 06. 27.

Online Learning and Analytics인용 수 18

한 줄 요약

이 논문은 AI를 교육 측정에 적용하는 기회와 윤리적 도전을 다루며, 항목 생성, 자동 채점, 감독, 피드백을 포함하고 편향성, 투명성, 공정성 문제와 제안된 완화책을 강조한다.

ABSTRACT

The integration of artificial intelligence (AI) in educational measurement has revolutionized assessment methods, enabling automated scoring, rapid content analysis, and personalized feedback through machine learning and natural language processing. These advancements provide timely, consistent feedback and valuable insights into student performance, thereby enhancing the assessment experience. However, the deployment of AI in education also raises significant ethical concerns regarding validity, reliability, transparency, fairness, and equity. Issues such as algorithmic bias and the opacity of AI decision-making processes pose risks of perpetuating inequalities and affecting assessment outcomes. Responding to these concerns, various stakeholders, including educators, policymakers, and organizations, have developed guidelines to ensure ethical AI use in education. The National Council of Measurement in Education's Special Interest Group on AI in Measurement and Education (AIME) also focuses on establishing ethical standards and advancing research in this area. In this paper, a diverse group of AIME members examines the ethical implications of AI-powered tools in educational measurement, explores significant challenges such as automation bias and environmental impact, and proposes solutions to ensure AI's responsible and effective use in education.

연구 동기 및 목표

• AI 도구가 평가 관행을 변화시키면서 교육 측정의 윤리적 검토를 촉진한다.
• 자동 항목 생성, 다중모드 자극 및 자동 채점과 같은 AI 응용이 교육에서 어떻게 작동하는지 설명한다.
• 편향성, 공정성, 투명성, 시험 보안, 환경 영향 등 주요 윤리적 문제를 식별하고 완화 전략을 제시한다.
• 윤리적 AI 사용을 지배하기 위한 NCME, ITC, ATP, ETS, Duolingo의 기존 가이드라인과 표준을 강조한다.

제안 방법

• 교육 측정에서의 현재 AI 응용(AIG, 다중모드 자극 생성, 자동 채점)에 대한 검토 및 합성.
• 전문기관(AERA/APA/NCME, ITC/ATP)과 업계 표준의 윤리적 프레임워크 및 표준에 대한 논의.
• AI 채점의 편향 유형 및 탐지·수정 방법(DIF, 공정성 유형, 하위집단 분석)에 대한 분석.
• 인간 대 AI 성과 및 근거를 대비하기 위한 AP Chinese language scoring의 예시를 사용한 설명적 예시.

Figure 1: A writing sample in Mandarin.

실험 결과

연구 질문

• RQ1 교육 측정에서 AI가 가능하게 하는 주요 기회는 무엇이며(항목 생성, 채점, 피드백, 감독) 이를 동반하는 윤리적 위험은 무엇인가?
• RQ2 AI 기반 평가에서 편향은 어떻게 발생하고, 공정성을 어떻게 정의하고 측정할 수 있으며, 이러한 편향을 완화하기 위한 전략은 무엇인가?
• RQ3 교육 측정에서 AI의 윤리적 사용을 지배하기 위한 가이드라인, 표준 및 모범 사례는 무엇이며 이를 어떻게 적용할 수 있는가?

주요 결과

• AI는 자동 채점 및 신속한 콘텐츠 분석을 가능하게 하며, 개인화된 피드백 및 확장 가능한 평가 분석의 잠재력이 있다.
• 윤리적 우려에는 타당성, 신뢰도, 투명성, 공정성, 편향성, 시험 보안이 포함되며, 특히 많은 AI 모델의 블랙박스 특성으로 인해 문제가 제기된다.
• AI 채점의 편향은 역사적, 표현, 측정 및 배치 요인에서 발생할 수 있어 엄격한 DIF 분석과 공정성 기준이 필요하다.
• 유력한 표준 및 지침(AERA/APA/NCME, ITC/ATP, ETS 모범 사례, Duolingo Responsible AI Standards)은 검증, 투명성, 인간 감독을 옹호한다.
• 책임성 및 공정성 위험을 완화하기 위해 인간-개입 루프, 다양한 비편향 데이터 및 지속적인 모니터링이 권장된다.

Figure 2: Rationales provided by ChatGPT 3.5.