[논문 리뷰] Re-contextualizing Fairness in NLP: The Case of India

Shaily Bhatt, Sunipa Dev외 3명|arXiv (Cornell University)|2022. 09. 25.

Hate Speech and Cyberbullying Detection인용 수 7

한 줄 요약

이 논문은 인도의 다문화 및 다언어적 맥락을 고려하여 NLP 공정성의 재정의를 시도한다. 모델과 데이터 내에서 지역, 종교, 캐스트, 방언 기반의 편향을 규명하고, 인도 전용 평가 자원과 사회적 맥락, 기술적 격차, 인도적 문화적 가치를 통합한 통합적 연구 계획을 제안한다. 감성 모델에서의 심각한 예측 편향과 데이터 및 모델 내의 스테레오타입적 인코딩을 입증하며, 다른 비서구적 지리문화적 맥락에 적용 가능한 프레임워크를 제공한다.

ABSTRACT

Recent research has revealed undesirable biases in NLP data and models. However, these efforts focus on social disparities in West, and are not directly portable to other geo-cultural contexts. In this paper, we focus on NLP fair-ness in the context of India. We start with a brief account of the prominent axes of social disparities in India. We build resources for fairness evaluation in the Indian context and use them to demonstrate prediction biases along some of the axes. We then delve deeper into social stereotypes for Region andReligion, demonstrating its prevalence in corpora and models. Finally, we outline a holistic research agenda to re-contextualize NLP fairness research for the Indian context, ac-counting for Indian societal context, bridging technological gaps in NLP capabilities and re-sources, and adapting to Indian cultural values. While we focus on India, this framework can be generalized to other geo-cultural contexts.

연구 동기 및 목표

• 비서구 사회, 특히 다원적이고 다언어적인 인도의 맥락에서의 맥락 기반 공정성 연구 부족을 해소하기 위해.
• 지역, 종교, 캐스트, 방언과 같은 주요 인도적 불평등 축을 중심으로 예측 편향을 규명하고 실증적으로 입증하기 위해.
• 인도 NLP의 공정성 평가를 위한 커리레이티드 자원(예: 스테레오타입 데이터셋 및 펌터베이션 벤치마크 포함)을 구축하고 공개하기 위해.
• 인도 사회 구조, 저자원 언어의 기술적 한계, 복구적 정의와 같은 가치와의 조화를 고려한 통합적 연구 계획을 제안하기 위해.
• 인도의 법적 및 윤리적 기준(예: 할당 제도, 평등하지 않은 정의 체계)과 충돌하지 않는 NLP 공정성 개선 조치를 확보하기 위해.

제안 방법

• 사전 학습된 언어 모델에 대한 펌터베이션 분석을 수행하여 입력 프롬프트 내 지역, 종교, 캐스트 관련 신분 표시어에 대한 민감도를 테스트한다.
• 인도 전용으로 커리레이티드 데이터셋과 언어적 대체 지표를 사용하여 편향을 평가하는 DisParity-Centric(DisCo) 분석 프레임워크를 개발한다.
• 통제된 언어적 자극을 사용하여 사회적 범주(예: 종교, 지역)와 스테레오타입적 특성 간의 인간 주석 기반 연관성을 포함한 스테레오타입 데이터셋을 구축한다.
• 영어 및 인도어 자료를 조합하여 훈련 데이터 및 모델 출력 내 사회적 스테레오타입의 확산 정도를 탐지하고 분석한다.
• 복구적 정의 및 공동체 중심의 형평성 모델을 고려한 인도 사회적 규범에 맞추어 서구 공정성 평가 프레임워크를 적응시킨다.
• 인도 사회적 맥락, 기술적 능력 격차, 인도 규범 및 법적 프레임워크와의 가치 조율을 중심으로 한 삼중 연구 계획을 제안한다.

실험 결과

연구 질문

• RQ1 인도의 NLP 모델은 지역, 종교, 캐스트, 방언과 같은 축을 중심으로 어떻게 예측 편향을 보이는가?
• RQ2 특히 종교와 지역에 관련된 사회적 스테레오타입은 어느 정도 인도 NLP 데이터셋과 모델에 내재되어 있는가?
• RQ3 기존의 공정성 평가 자원이 인도 맥락에 적용될 때의 한계는 무엇이며, 어떻게 개선될 수 있는가?
• RQ4 NLP의 공정성 연구는 어떻게 인도의 사회적 가치(예: 복구적 정의, 할당 제도)와 통합되어 재정의되어야 하는가?
• RQ5 다국어성과 전이 학습은 인도 NLP 시스템에서 편향 전파 및 완화에 어떤 영향을 미치는가?

주요 결과

• 펌터베이션 분석 결과, 감성 모델의 예측이 입력 텍스트 내 지역, 종교, 캐스트 신분 표시어에 매우 민감하게 반응함을 확인하여 모델 행동 내 강력한 편향이 존재함을 시사한다.
• DisCo 분석은 기존의 공정성 평가 도구가 인도 맥락에서 인도 전용 자원 없이 편향을 탐지하지 못함을 입증하며, 지역화된 벤치마크의 필요성을 강조한다.
• 최근 제작된 스테레오타입 데이터셋은 훈련 데이터 및 사전 학습된 모델이 유해한 지역 및 종교 기반의 스테레오타입을 선호적으로 인코딩하고 있음을 보여주었다.
• 연구는 인도어의 방언적 특성이 모델 예측에 상당한 영향을 미친다는 것을 발견하여, 언어 다양성이 NLP 시스템 내 편향의 핵심 축임을 입증한다.
• 실증 결과는 한 언어(예: 영어)에서의 편향 완화가 저자원 인도어로는 효과적으로 전이되지 않을 수 있음을 보여주며, 다국어 공정성 연구의 필요성을 강조한다.
• 본 연구는 현재 공정성 프레임워크의 핵심 격차를 규명한다: 일반적으로 서구적 규범적 가치를 도입함으로써, 이는 인도의 복구적 정의 모델과 법적 프레임워크와 충돌할 수 있다.