[논문 리뷰] Indian-BhED: A Dataset for Measuring India-Centric Biases in Large Language Models

Khyati Khandelwal, Manuel Tonneau외 3명|arXiv (Cornell University)|2023. 09. 15.

Topic Modeling참고 문헌 61인용 수 4

한 줄 요약

이 논문은 인도적 맥락에서 대규모 언어 모델(LM)의 캐스트 및 종교 기반 편향을 평가하기 위한 새로운 데이터셋인 Indian-BhED를 소개한다. 이 연구는 대부분의 LLM이 미국과 비교해 인도에서 더 강한 전형적 편향을 보이며, 특히 소수자 집단에 대해 더욱 두드러진다는 점을 발견했고, GPT-3.5에서 지시 프롬프팅이 이러한 편향을 효과적으로 줄일 수 있음을 보여준다.

ABSTRACT

Large Language Models (LLMs), now used daily by millions, can encode societal biases, exposing their users to representational harms. A large body of scholarship on LLM bias exists but it predominantly adopts a Western-centric frame and attends comparatively less to bias levels and potential harms in the Global South. In this paper, we quantify stereotypical bias in popular LLMs according to an Indian-centric frame through Indian-BhED, a first of its kind dataset, containing stereotypical and anti-stereotypical examples in the context of caste and religious stereotypes in India. We find that the majority of LLMs tested have a strong propensity to output stereotypes in the Indian context, especially when compared to axes of bias traditionally studied in the Western context, such as gender and race. Notably, we find that GPT-2, GPT-2 Large, and GPT 3.5 have a particularly high propensity for preferring stereotypical outputs as a percent of all sentences for the axes of caste (63-79%) and religion (69-72%). We finally investigate potential causes for such harmful behaviour in LLMs, and posit intervention techniques to reduce both stereotypical and anti-stereotypical biases. The findings of this work highlight the need for including more diverse voices when researching fairness in AI and evaluating LLMs.

연구 동기 및 목표

• 비서구적, 특히 인도적 사회문화적 맥락에서 LLM 편향 평가 프레임워크의 부족을 해결하기 위해.
• 인도(캐스트 및 종교)와 서구(성별 및 인종) 맥락 간 LLM의 전형적 편향 수준을 정량화하고 비교하기 위해.
• 지시 프롬프팅이 인도 중심 LLM 평가에서 편향을 완화하는 데 효과적인지 조사하기 위해.
• 기존 LLM 편향 연구 및 평가에서 글로벌 남반구 시각의 부재를 부각시키기 위해.

제안 방법

• 인도의 캐스트 및 종교에 대한 전형적 및 반전형적 영문 프롬프트를 포함한 새로운 데이터셋인 Indian-BhED를 개발하였다.
• 미국 중심의 편향(성별 및 인종)을 측정하기 위해 CrowS-Pairs의 일부를 Indian-BhED와 통합하였다.
• 모델의 응답이 전형적 대 반전형적 쌍에 대해 로그우도 점수를 비교하여 다양한 모델 간 편향을 평가하였다.
• 엔코더 기반 및 디코더 기반 LLM 모두를 평가하였으며, LLaMA-2, BERT, GPT-3.5를 포함하였다.
• 편향 감소 전략으로 지시 프롬프팅을 적용하여 입력 프롬프트를 수정하였다.
• 모델 및 맥락 간 비교 분석을 통해 편향 격차를 측정하였다.

실험 결과

연구 질문

• RQ1 주요 LLM은 인도 맥락에서 캐스트 및 종교에 대한 전형적 편향을 서구 맥락과 비교해 어떻게 작동하는가?
• RQ2 인도 중심 LLM 평가에서의 편향 크기와 방향은 미국 중심 평가와 비교해 어떠한가?
• RQ3 지시 프롬프팅은 인도 맥락의 LLM에서 전형적 및 반전형적 편향을 효과적으로 줄일 수 있는가?
• RQ4 유사한 편향 완화 조치가 취해졌음에도 불구하고 인도 맥락에서 편향이 더 강한 이유는 무엇인가?

주요 결과

• 모든 테스트된 LLM은 로그우도 차이를 통해 미국에서의 성별 및 인종 편향과 비교해 인도에서의 캐스트 및 종교에 대한 전형적 편향이 유의미하게 더 강하다는 점을 보였다.
• LLaMA-2는 브라민 대 달리트에 대해 +4.34, 힌두교도 대 무슬림에 대해 +4.49의 로그우도 차이를 보였으며, 지배 계층에 대한 강한 선호를 나타냈다.
• GPT-3.5는 지시 프롬프팅을 사용할 경우 전형적 및 반전형적 편향이 모두 유의미하게 감소하여, 이 전략이 효과적인 편향 완화 수단임을 입증하였다.
• 다양한 모델 아키텍처, 특히 미세조정된 모델을 포함해도 편향 수준 격차가 지속되며, 이는 훈련 데이터 또는 편향 완화 접근 방식에 체계적인 차이가 있음을 시사한다.
• 본 연구는 현재의 편향 평가 프레임워크가 캐스트 기반 계층제를 포함해 글로벌 남반구 맥락을 충분히 반영하지 못하고 있음을 드러냈다.
• 이진 쌍 방식으로 평가할 경우 브라민과 같은 지배 계층이 과도하게 반영되어 공정성 지표가 왜곡될 위험이 있다.