[논문 리뷰] Epistemic Injustice in Generative AI

Jackie Kay, Atoosa Kasirzadeh외 1명|arXiv (Cornell University)|2024. 08. 21.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

본 논문은 생성적 알고리즘 기반의 인식적 불의를 제시하고, 실세계 사례를 담은 네 가지 구성(확대된/조작적 발언 불의, 해석학적 무지, 해석학적 접근 불의)을 개괄하며, AI 시스템에서 인식적 정의를 촉진하기 위한 설계 전략을 제안한다.

ABSTRACT

This paper investigates how generative AI can potentially undermine the integrity of collective knowledge and the processes we rely on to acquire, assess, and trust information, posing a significant threat to our knowledge ecosystem and democratic discourse. Grounded in social and political philosophy, we introduce the concept of \emph{generative algorithmic epistemic injustice}. We identify four key dimensions of this phenomenon: amplified and manipulative testimonial injustice, along with hermeneutical ignorance and access injustice. We illustrate each dimension with real-world examples that reveal how generative AI can produce or amplify misinformation, perpetuate representational harm, and create epistemic inequities, particularly in multilingual contexts. By highlighting these injustices, we aim to inform the development of epistemically just generative AI systems, proposing strategies for resistance, system design principles, and two approaches that leverage generative AI to foster a more equitable information ecosystem, thereby safeguarding democratic values and the integrity of knowledge production.

연구 동기 및 목표

• 사회 철학 체계 내에서 생성적 알고리즘적 인식적 불의를 정의한다.
• 생성형 AI에 관련된 인식적 불의의 네 가지 구성을 식별한다.
• AI 배치 및 담론의 실세계 사례로 각 구성을 설명한다.
• 생성형 AI에서 인식적 정의를 촉진하기 위한 설계 원칙과 저항 전략을 제안한다.

제안 방법

• 프리커의 인식적 불의 프레임워크(발언적 불의와 해석학적 불의)에 기반을 두고 이를 생성형 AI로 확장한다.
• 생성형 인식적 불의의 네 가지 구성: 확대된 발언 불의, 조작적 발언 불의, 해석학적 무지, 해석학적 접근 불의를 특징화한다.
• 각 구성을 설명하기 위해 AI 산출물과 배치 맥락의 실세계 사례를 제시한다.
• 알고리즘적 인식적 불의에 관한 기존 문헌을 조사하고 더 넓은 담론 속에서 생성형 AI를 위치시킨다.
• 보다 공정한 정보 생태계를 위한 시스템 설계 원칙과 AI를 활용하는 두 가지 접근법을 제안한다.

실험 결과

연구 질문

• RQ1 생성형 AI 시스템이 발언적 및 해석학적 차원에서 인식적 피해를 생성하거나 확대할 수 있는가?
• RQ2 생성형 인식적 불의의 네 가지 구성은 무엇이며, 실세계 AI 배치에서 어떻게 나타나는가?
• RQ3 이 불의를 완화하고 AI에서 인식적 정의를 촉진하기 위한 전략과 설계 원칙은 무엇인가?
• RQ4 생성형 AI를 안전성과 신뢰를 해치지 않으면서 더 공정한 정보 생태계를 촉진하는 데 어떻게 활용할 수 있는가?

주요 결과

• 생성형 AI는 훈련 데이터 편향으로 인해 존재하는 발언적 불의를 증폭시킬 수 있다.
• 사람들이 생성형 AI를 조작하여 거짓 서사를 만들 수 있으며, 이는 조작적 발언 불의와 딥페이크 관련 해를 초래한다.
• 생성형 시스템은 주변 경험을 잘못 제시하거나 지워버림으로써 해석학적 자원을 약화시킬 수 있다(해석학적 무지).
• 생성형 AI가 특정 집단의 지식을 제한하거나 편향을 재생산/강요할 때 정보 접근이 불평등해질 수 있다(해석학적 접근 및 다국어 불의).
• 대형 언어 모델의 다국어 및 저자원 언어 커버리지가 언어적 권력 불균형과 공동체 간의 인식적 격차를 초래한다.
• 본 연구는 인식적으로 정의로운 생성형 AI 시스템을 구축하기 위한 저항과 설계 원칙을 제시하며, 정보 생태계를 개선하기 위한 AI 활용 두 가지 접근법을 논의한다.