[論文レビュー] Beyond "Fairness:" Structural (In)justice Lenses on AI for Education

Michael Madaio, Su Lin Blodgett+2 more|arXiv (Cornell University)|May 18, 2021

Ethics and Social Impacts of AI参考文献 164被引用数 8

ひとこと要約

この論文は、教育分野におけるAIの支配的「公平性」パラダイムを批判し、歴史的・構造的不正義に根ざした包括的不平等を解決していないと主張する。批判理論およびブラックフェミニスト学術研究を基盤に、構造的正義の視点から教育分野におけるAIを再考し、疎外された声を重視し、学習と学習者アイデンティティの規範的イデオロギーに挑戦する変容的設計を提唱する。

ABSTRACT

Educational technologies, and the systems of schooling in which they are deployed, enact particular ideologies about what is important to know and how learners should learn. As artificial intelligence technologies -- in education and beyond -- may contribute to inequitable outcomes for marginalized communities, various approaches have been developed to evaluate and mitigate the harmful impacts of AI. However, we argue in this paper that the dominant paradigm of evaluating fairness on the basis of performance disparities in AI models is inadequate for confronting the systemic inequities that educational AI systems (re)produce. We draw on a lens of structural injustice informed by critical theory and Black feminist scholarship to critically interrogate several widely-studied and widely-adopted categories of educational AI and explore how they are bound up in and reproduce historical legacies of structural injustice and inequity, regardless of the parity of their models' performance. We close with alternative visions for a more equitable future for educational AI.

研究の動機と目的

• 教育AIにおける成果指標に基づく公平性指標の限界を批判し、それらが根本的なシステム的不平等を無視している点を明らかにすること。
• 教育AIシステムが、モデルのパラメータに差がなくても、歴史的構造的不正義の遺産を再現している方法を検証すること。
• 教育AIのイデオロギー的・権力的側面を分析するための、批判理論およびブラックフェミニスト学術研究を視覚的枠組みとして位置づけること。
• 技術的公平性ではなく構造的正義を重視する、現在のAI設計および研究パラダイムの代替的・変容的代替案を提示すること。
• 疎外されたコミュニティが教育AIの未来を形作る上で力を持つようにする、包括的で参加型の設計プロセスを提唱すること。

提案手法

• 批判理論およびブラックフェミニスト思考に裏付けられた構造的不正義の視点を用いて、教育AIシステムを分析する。
• 代表的な教育AI分野（例：適応学習、自動作文評価）を、歴史的・構造的不平等の観点から検証する。
• 批判的ディス course 分析を用いて、AIシステムが「良い学習者」とされるアイデンティティや知識のイデオロギーをどのように内蔵・再現しているかを検証する。
• アフロフューチャリズムを理論的かつ想像的枠組みとして活用し、代替的で解放的な社会的技術的未来像を描く。
• 公平性と正義を初期段階から組み込むように、AI研究および設計のライフサイクルを再考する。
• 多様な声を支援し、教育分野におけるAI研究の植民地的思考を脱却するための制度的・資金調達モデルの改革を提言する。

実験結果

リサーチクエスチョン

• RQ1 教育AIシステムは、グループ間の性能に差がなくても、歴史的・構造的不正義をどのように再現しているのか。
• RQ2 支配的教育AIシステムは、どのように白人優位主義的・父権的・障害差別的学習と学習者アイデンティティのイデオロギーを反映・強化しているのか。
• RQ3 批判理論およびブラックフェミニスト学術研究をどのように活用することで、技術的公平性を超えて構造的正義を実現できるのか。
• RQ4 アフロフューチャリズムおよび解放的教育フレームワークから、どのような教育AIの代替的ビジョンが生み出せるのか。
• RQ5 参加型設計および資金調達モデルをどのように変容させれば、疎外されたコミュニティが教育AIを形作る中心的役割を果たせるのか。

主な発見

• 教育AIにおける支配的公平性パラダイム—主に成果の差に注目するもの—は、教育制度およびAI設計に根ざしたより深い構造的不正義に対処していない。
• 教育AIシステムは、一般的な学習者アイデンティティを優遇し、学習を標準化することで、植民地的・人種的・障害差別のイデオロギーを再現している。
• AIモデルの精度に統計的差がなくても、それらは依然として既存の権力構造と認識論的階層を強化することで、構造的不正義を継続的に再現している。
• 新型コロナウイルス感染症のパンデミックは教育制度に亀裂を生じさせ、危機的効率性を超えて根本的公平性を目指す教育AIの再考に、画期的な機会を提供している。
• アフロフューチャリズムは、AIを支配の道具ではなく、解放と代替的認識論の実現手段として再考するための批判的枠組みを提供する。
• 変容的変化には、資金調達モデルを含むAI研究および設計のライフサイクル全体を再考し、疎外されたコミュニティを中核に据え、教育技術の植民地的思考を脱却する必要がある。