[论文解读] Beyond "Fairness:" Structural (In)justice Lenses on AI for Education

Michael Madaio, Su Lin Blodgett+2 more|arXiv (Cornell University)|May 18, 2021

Ethics and Social Impacts of AI参考文献 164被引用 8

一句话总结

本文批判了教育人工智能领域主导的'公平性'范式，认为其未能解决根植于历史结构性不公的系统性不平等。文章借鉴批判理论与黑人女性主义学术，提出通过结构性正义的视角重新构想教育中的人工智能，倡导以边缘化群体为中心的变革性设计，挑战学习与学习者身份的规范性意识形态。

ABSTRACT

Educational technologies, and the systems of schooling in which they are deployed, enact particular ideologies about what is important to know and how learners should learn. As artificial intelligence technologies -- in education and beyond -- may contribute to inequitable outcomes for marginalized communities, various approaches have been developed to evaluate and mitigate the harmful impacts of AI. However, we argue in this paper that the dominant paradigm of evaluating fairness on the basis of performance disparities in AI models is inadequate for confronting the systemic inequities that educational AI systems (re)produce. We draw on a lens of structural injustice informed by critical theory and Black feminist scholarship to critically interrogate several widely-studied and widely-adopted categories of educational AI and explore how they are bound up in and reproduce historical legacies of structural injustice and inequity, regardless of the parity of their models' performance. We close with alternative visions for a more equitable future for educational AI.

研究动机与目标

• 批判基于性能的公平性指标在教育人工智能中的局限性，因其忽视更深层次的系统性不平等。
• 考察教育人工智能系统如何在模型表现对等的情况下，仍再现历史性的结构性不公。
• 将批判理论与黑人女性主义学术作为分析人工智能在教育中意识形态与权力维度的视角。
• 提出对当前人工智能设计与研究范式的变革性替代方案，优先考虑结构性正义而非技术公平。
• 倡导包容性、参与式的设计流程，使边缘化群体能够主导塑造教育人工智能的未来。

提出的方法

• 运用受批判理论与黑人女性主义思想启发的结构性不公正视角，分析教育人工智能系统。
• 通过历史与系统性不平等的透镜，审视广泛使用的教育人工智能类别（例如：自适应学习、自动作文评分）。
• 运用批判话语分析，探究人工智能系统如何编码并再现关于'优秀学习者'与知识的主导意识形态。
• 借鉴非洲未来主义作为理论与想象框架，构想替代性、解放性的社会技术未来。
• 提出重新思考人工智能研究与设计生命周期，从起点即嵌入公平与正义，而非事后补救。
• 呼吁改革机构与资助模式，以支持多元声音，实现教育人工智能研究的去殖民化。

实验结果

研究问题

• RQ1 即使其模型在不同群体间表现出性能对等，教育人工智能系统在何种方式下仍会再现历史与结构性不公？
• RQ2 主导的教育人工智能系统在哪些方面反映并强化了白人至上主义、父权制与能力主义的学习与学习者身份意识形态？
• RQ3 批判理论与黑人女性主义学术如何被用于推动人工智能在教育中超越技术公平，迈向结构性正义？
• RQ4 从非洲未来主义与解放性教育框架中，可产生哪些关于教育人工智能的替代性愿景？
• RQ5 参与式设计与资助模式应如何变革，以使边缘化群体在塑造教育人工智能中处于中心位置？

主要发现

• 教育人工智能领域主导的公平性范式——聚焦于性能差异——未能解决教育体系与人工智能设计中根深蒂固的结构性不公。
• 教育人工智能系统往往通过偏袒规范性学习者身份并标准化学习方式，再现殖民主义、种族主义与能力主义意识形态，从而边缘化非主流学生。
• 即使人工智能模型在准确率上无统计差异，仍可能通过强化既有权力关系与认识论等级制度，持续维持结构性不公。
• 新冠疫情在教育体系中制造了断裂，为超越危机驱动效率的教育人工智能重构提供了独特契机，迈向根本性公平。
• 非洲未来主义为重新构想教育人工智能提供了批判性框架，使其不再作为控制工具，而是作为解放与替代认识论的载体。
• 变革性转变需要重新思考人工智能研究与设计的整个生命周期，包括资助模式，以使边缘化群体处于中心，并实现教育技术的去殖民化。