[논문 리뷰] Tackling Bias in Pre-trained Language Models: Current Trends and Under-represented Societies

Vithya Yogarajan, Gillian Dobbie외 2명|arXiv (Cornell University)|2023. 12. 03.

Computational and Text Analysis Methods인용 수 5

한 줄 요약

이 논문은 사전에 훈련된 언어 모델에서의 편향에 대한 종합적인 서베이를 제시하며, 저소득 및 자국민 사회에 대한 현재의 완화 기법의 한계를 강조한다. 이는 일률적인 솔루션보다는 현지 상황에 맞고 공동체가 참여한 접근 방식을 주장하며, 뉴질랜드의 마오리 공동체를 사례로 삼는다. 이는 AI 개발에서 포괄적인 데이터 거버넌스와 다문화 협업의 필요성을 강조한다.

ABSTRACT

The benefits and capabilities of pre-trained language models (LLMs) in current and future innovations are vital to any society. However, introducing and using LLMs comes with biases and discrimination, resulting in concerns about equality, diversity and fairness, and must be addressed. While understanding and acknowledging bias in LLMs and developing mitigation strategies are crucial, the generalised assumptions towards societal needs can result in disadvantages towards under-represented societies and indigenous populations. Furthermore, the ongoing changes to actual and proposed amendments to regulations and laws worldwide also impact research capabilities in tackling the bias problem. This research presents a comprehensive survey synthesising the current trends and limitations in techniques used for identifying and mitigating bias in LLMs, where the overview of methods for tackling bias are grouped into metrics, benchmark datasets, and mitigation strategies. The importance and novelty of this survey are that it explores the perspective of under-represented societies. We argue that current practices tackling the bias problem cannot simply be 'plugged in' to address the needs of under-represented societies. We use examples from New Zealand to present requirements for adopting existing techniques to under-represented societies.

연구 동기 및 목표

• 사전에 훈련된 언어 모델에 적용된 현재의 편향 탐지 및 완화 기법이 저소득 및 자국민 공동체의 요구를 충족시키지 못하는 한계를 규명하는 것.
• 자원이 풍부한 국가 중심의 일반화된 접근 방식이 소외된 인구의 고유한 사회문화적 및 언어적 요구를 충족시키지 못하는 이유를 부각하는 것.
• 편향 연구 및 AI 공정성에 영향을 미치는 변화하는 정부 규제 및 법적 프레임워크의 영향을 분석하는 것.
• 공동체가 참여하는 방법론과 데이터 주권 모델을 통해 AI 개발에서 공정한 참여와 혜택 공유를 보장하는 것.
• 사후 완화에서 탈피하여 공정성을 모델 개발 단계부터 통합하는 사전적이고 포괄적인 설계로의 전환을 제안하는 것.

제안 방법

• 기존의 편향 완화 기법을 세 가지 축으로 체계적으로 분류: 편향 메트릭, 벤치마크 데이터셋, 완화 전략.
• 대표성 공정성, 집단 공정성, 스테레오타입 편향 등의 메트릭을 통해 현재의 편향 탐지 방법을 분석하며, 이들의 다문화적 맥락에서의 한계를 강조한다.
• 저소득 공동체와 공동으로 개발된 HolisticBias 및 WinoQueer와 같은 벤치마크 데이터셋을 평가하여 대표성 정확도 향상을 확인한다.
• LLM 기반의 스테레오타입 생성과 공동체 참여를 융합한 하이브리드 접근 방식을 제안하여 편향 탐지의 커버리지 확대와 빈틈 감소를 도모한다.
• 주관적인 인간 평가에 의존하는 것에서 벗어나 다각도의 자동 평가를 통해 평가자 편향을 최소화하는 것이 중요하다는 점을 강조한다.
• 특히 동적인 사회적 맥락에서의 새로운 편향을 탐지하기 위해 실시간 모니터링 시스템과 정기적인 모델 감사를 통합할 것을 권장한다.

Figure 1 . Outline of this research paper. A synthesis of current research trends and limitations for each component is presented. We also analyse the impact on under-represented societies. Ongoing changes to regulations and legislation and the direct/indirect implications towards tackling bias rese

실험 결과

연구 질문

• RQ1 사전에 훈련된 언어 모델에서의 현재 편향 탐지 및 완화 기법은 저소득 및 자국민 공동체의 요구를 충족시키지 못하는 이유는 무엇인가?
• RQ2 기존의 편향 완화 방법이 소외된 공동체로의 이행성에 제약을 가하는 주요 사회문화적 및 언어적 과제는 무엇인가?
• RQ3 공동체 기반 및 공동체 주도의 데이터 거버넌스 모델은 LLM에서의 공정성과 표현의 정확도를 어떻게 향상시킬 수 있는가?
• RQ4 최근의 대규모 언어 모델인 GPT-4와 Llama 2는 본질적으로 편향을 줄일 수 있는가? 만약 잘못 사용된다면 어떤 위험이 존재하는가?
• RQ5 변화하는 정부 규제 및 법적 프레임워크는 다양한 사회에서 공정한 AI 시스템의 개발 및 구현에 어떤 영향을 미치는가?

주요 결과

• 현재의 편향 완화 기법은 주로 이元성 성별 분류와 미국과 같은 자원이 풍부한 국가에 집중되어 있으며, 교차성과 문화적으로 특수한 편향을 간과하고 있다.
• 저소득 공동체와 공동으로 개발된 HolisticBias 및 WinoQueer와 같은 벤치마크 데이터셋은 기존 방법으로는 탐지되지 않은 스테레오타입을 드러내어 공동체 참여의 가치를 입증한다.
• LLM 기반의 스테레오타입 생성과 공동체 검증을 융합한 하이브리드 접근 방식은 스테레오타입 커버리지 확대를 이끌었으며, 각각의 방법으로서는 발견하지 못한 고유한 편향을 드러냈다.
• 편향 평가에서 인간의 판단에 대한 의존은 주관성과 잠재적 개인 편향을 초래하므로, 자동화된 다각도 평가 프레임워크의 필요성이 강조된다.
• 최근의 모델인 GPT-4는 이전 버전 대비 많은 스테레오타입 주제에서 편향이 감소했지만, 정확한 지시 수행 능력의 향상은 악용 가능성 증가 위험도 동반한다.
• 지속적인 규제 변화는 연구 방법의 유연성 필요성을 요구하며, 시민 사회, 정책 입안자, 영향을 받는 공동체가 포함된 포괄적 거버넌스가 AI의 지속 가능한 공정성 확보에 필수적이다.

Figure 2 . Overview of Bias benchmark datasets is presented, where dataset references are as per Table 2 . Bias target groups and issues, and data source, style, annotation details and language availability are included. Datasets which are open-sourced (see Appendix B Table 11 ), and which introduce