[論文レビュー] Epistemic Injustice in Generative AI

Jackie Kay, Atoosa Kasirzadeh+1 more|arXiv (Cornell University)|Aug 21, 2024

Ethics and Social Impacts of AI被引用数 6

ひとこと要約

本論文は生成系統的な認知的不正を導入し、実世界の事例とともに4つの構成（拡張的/操作的証言的不正、解釈論的無知、アクセス不正）を概説し、AIシステムにおける認知的正義を促進する設計戦略を提案する。

ABSTRACT

This paper investigates how generative AI can potentially undermine the integrity of collective knowledge and the processes we rely on to acquire, assess, and trust information, posing a significant threat to our knowledge ecosystem and democratic discourse. Grounded in social and political philosophy, we introduce the concept of \emph{generative algorithmic epistemic injustice}. We identify four key dimensions of this phenomenon: amplified and manipulative testimonial injustice, along with hermeneutical ignorance and access injustice. We illustrate each dimension with real-world examples that reveal how generative AI can produce or amplify misinformation, perpetuate representational harm, and create epistemic inequities, particularly in multilingual contexts. By highlighting these injustices, we aim to inform the development of epistemically just generative AI systems, proposing strategies for resistance, system design principles, and two approaches that leverage generative AI to foster a more equitable information ecosystem, thereby safeguarding democratic values and the integrity of knowledge production.

研究の動機と目的

• 社会哲学の枠組みの中で生成的アルゴリズム的認知的不正を定義する。
• 生成系AIに関連する認知的不正の4つの構成を特定する。
• AIの展開と議論における実世界の例を用いて各構成を具体例として示す。
• 生成的AIにおける認知的正義を促進する設計原則と抵抗戦略を提案する。

提案手法

• 分析をFrickerの認知的不正フレームワーク（証言的・解釈論的）に基づかせ、それを生成系AIに拡張する。
• 生成的認知的不正の4つの構成を特徴づける：拡張された証言的、不正操作的証言、解釈論的無知、解釈論的アクセス。
• 各構成を説明するためにAI出力とデプロイメント文脈からの実例を提供する。
• アルゴリズム的認知的不正に関する既存文献を調査し、この広範な議論の中に生成系AIを位置づける。
• より公正な情報エコシステムのために、システム設計原則とAIを活用する二つのアプローチを提案する。

実験結果

リサーチクエスチョン

• RQ1 生成系AIシステムは証言的および解釈論的な次元で認知的害を生み出すまたは拡大することができるのか？
• RQ2 生成的認知的不正の4つの構成は何で、現実のAI展開でどのように現れるのか？
• RQ3 これらの不正を緩和し、AIにおける認知的正義を促進するための戦略と設計原則は何か？
• RQ4 安全性と信頼を損なうことなく、生成系AIをより公正な情報エコシステムの促進にどう活用できるか？

主な発見

• 生成系AIは、トレーニングデータの偏りにより、偏ったまたは過小表現された声を再生することで、既存の証言的不正を拡大し得る。
• humans can manipulate generative AI to create false narratives, contributing to manipulative testimonial injustice and deepfake-related harms.
• Generative systems can erode hermeneutical resources by misrepresenting or erasing marginalized experiences (hermeneutical ignorance).
• Access to information can be unequal when generative AI reproduces or enforces biases that limit knowledge for certain groups (hermeneutical access and multilingual injustice).
• Multilingual and under-resourced language coverage in large language models creates linguistic power imbalances and epistemic disparities across communities.
• The paper argues for resistance and design principles to build epistemically just generative AI systems and discusses two approaches that leverage AI to enhance the information ecosystem.