[논문 리뷰] Beyond "Fairness:" Structural (In)justice Lenses on AI for Education

Michael Madaio, Su Lin Blodgett외 2명|arXiv (Cornell University)|2021. 05. 18.

Ethics and Social Impacts of AI참고 문헌 164인용 수 8

한 줄 요약

이 논문은 교육 분야의 인공지능에서 지배적인 '공정성' 개념을 비판하며, 역사적 구조적 불평등에 뿌리를 두고 있는 체계적 불평등을 해결하지 못한다고 주장한다. 비판 이론과 흑인 페미니즘 학술자료를 바탕으로, 구조적 정의감을 고려한 관점에서 교육 분야의 인공지능을 재구상하고, 소외된 목소리를 중심에 두며 학습과 학습자 정체성에 대한 규범적 이deologies에 도전하는 변혁적 설계를 주장한다.

ABSTRACT

Educational technologies, and the systems of schooling in which they are deployed, enact particular ideologies about what is important to know and how learners should learn. As artificial intelligence technologies -- in education and beyond -- may contribute to inequitable outcomes for marginalized communities, various approaches have been developed to evaluate and mitigate the harmful impacts of AI. However, we argue in this paper that the dominant paradigm of evaluating fairness on the basis of performance disparities in AI models is inadequate for confronting the systemic inequities that educational AI systems (re)produce. We draw on a lens of structural injustice informed by critical theory and Black feminist scholarship to critically interrogate several widely-studied and widely-adopted categories of educational AI and explore how they are bound up in and reproduce historical legacies of structural injustice and inequity, regardless of the parity of their models' performance. We close with alternative visions for a more equitable future for educational AI.

연구 동기 및 목표

• 성과 기반의 공정성 측정 지표가 체계적 불평등의 깊은 원인을 간과하는 교육 분야의 인공지능의 한계를 비판하는 것.
• 모델의 성능이 그룹 간에 균형을 이루더라도, 교육 분야의 인공지능 시스템이 역사적 구조적 불평등의 유산을 어떻게 재생산하는지 분석하는 것.
• 비판 이론과 흑인 페미니즘 학술자료를 바탕으로, 교육 분야의 인공지능의 이데올로기적 및 권력 중심 차원을 분석하는 데 사용하는 것.
• 기술적 공정성보다 구조적 정의감을 우선시하는, 현재의 인공지능 설계 및 연구 범주를 넘어서는 변혁적 대안을 제안하는 것.
• 소외된 공동체가 교육 분야의 인공지능 미래를 함께 설계하는 데 능력을 갖추도록 하는 포괄적이고 참가형 설계 과정을 지지하는 것.

제안 방법

• 비판 이론과 흑인 페미니즘 사고에 기반한 체계적 불평등 관점을 적용하여 교육 분야의 인공지능 시스템을 분석하는 것.
• 적응형 학습, 자동 글쓰기 평가 등 널리 사용되는 교육 분야의 인공지능 유형들을 역사적 및 체계적 불평등의 관점에서 분석하는 것.
• 비판적 담론 분석을 통해 인공지능 시스템이 '좋은' 학습자와 지식에 대한 지배적 이데올로기를 어떻게 내재하고 재생산하는지 조사하는 것.
• 아프로퓨처리즘을 이론적 및 상상력의 프레임워크로 활용하여, 다른 사회기술적 미래를 위한 해방적 비전을 제시하는 것.
• 공정성과 정의감을 초기 단계부터 통합하는 인공지능 연구 및 설계 프로세스를 재고하여, 후속 조치가 아닌 근본적 원칙으로 삼는 것.
• 다양한 목소리가 반영되고 식민지적 사고를 탈피한 교육 분야의 인공지능 연구를 지원하기 위해 기관 및 자금 지원 모델의 개혁을 촉구하는 것.

실험 결과

연구 질문

• RQ1 성과가 그룹 간에 균형을 이루더라도, 교육 분야의 인공지능 시스템은 어떻게 역사적 및 체계적 불평등을 재생산하는가?
• RQ2 주로 사용되는 교육 분야의 인공지능 시스템은 어떻게 백인 우월주의, 남성 중심주의, 기형적 사고의 이데올로기를 반영하고 강화하는가?
• RQ3 비판 이론과 흑인 페미니즘 학술자료는 어떻게 기술적 공정성에서 벗어나 구조적 정의감으로 나아가는 데 활용될 수 있는가?
• RQ4 아프로퓨처리즘과 해방적 교육 프레임워크에서 어떤 새로운 교육 분야의 인공지능 비전이 도출될 수 있는가?
• RQ5 참여형 설계 및 자금 지원 모델은 어떻게 재편되어 소외된 공동체가 교육 분야의 인공지능을 함께 설계하는 데 중심이 될 수 있는가?

주요 결과

• 교육 분야의 인공지능에서 지배적인 공정성 범주 — 성과 격차에 초점을 맞춘 것 — 은 교육 시스템과 인공지능 설계에 내재된 더 깊은 체계적 불평등을 해결하지 못한다.
• 교육 분야의 인공지능 시스템은 일반화된 학습자 정체성과 표준화된 학습 방식을 우선시함으로써 식민지적, 인종적, 기형적 사고의 이데올로기를 재생산하는 경향이 있다.
• 인공지능 모델이 정확도 측면에서 통계적 격차가 없더라도, 기존의 권력 구조와 지식 체계의 위계질서를 강화함으로써 여전히 체계적 불평등을 유지할 수 있다.
• 코로나19 패an데믹은 교육 시스템에 파국을 가져왔고, 이는 위기 중심의 효율성에서 벗어나 근본적인 형평성으로 나아가는 데 있어 특별한 기회를 제공한다.
• 아프로퓨처리즘은 인공지능을 통제 수단이 아니라 해방과 다른 지식 체계를 위한 수단으로 재구상하는 데 중요한 이론적 프레임워크를 제공한다.
• 변혁적 변화는 자금 지원 모델을 포함한 인공지능 연구 및 설계 전 과정을 재고하여 소외된 공동체를 중심에 두고 교육 기술의 식민지적 사고를 탈피하는 데 요구된다.