[논문 리뷰] Fairness in Language Models Beyond English: Gaps and Challenges

Krithika Ramesh, Sunayana Sitaram외 1명|arXiv (Cornell University)|2023. 02. 24.

Social Policy and Reform Studies인용 수 4

한 줄 요약

이 논문은 다국어 및 비영어 언어 모델에서의 공정성 문제를 조사하며, 영어 외의 언어에 대한 포함적인 편향 평가 및 완화 방법의 부족을 강조한다. 기존의 데이터 기반 접근 방식이 다양한 언어와 문화권에서 확장되지 못함을 지적하며, 다국어 NLP에서 교차성, 다학문적 접근 및 문화 기반의 공정성 프레임워크 수립을 촉구한다.

ABSTRACT

With language models becoming increasingly ubiquitous, it has become essential to address their inequitable treatment of diverse demographic groups and factors. Most research on evaluating and mitigating fairness harms has been concentrated on English, while multilingual models and non-English languages have received comparatively little attention. This paper presents a survey of fairness in multilingual and non-English contexts, highlighting the shortcomings of current research and the difficulties faced by methods designed for English. We contend that the multitude of diverse cultures and languages across the world makes it infeasible to achieve comprehensive coverage in terms of constructing fairness datasets. Thus, the measurement and mitigation of biases must evolve beyond the current dataset-driven practices that are narrowly focused on specific dimensions and types of biases and, therefore, impossible to scale across languages and cultures.

연구 동기 및 목표

• 영어 중심의 관점에 비해 비영어 및 다국어 NLP 환경에서의 공정성 연구 부족을 특정하고 분석하는 것.
• 언어 및 문화적 다양성이 기존의 편향 측정 및 완화 기법의 확장성과 타당성에 어떻게 악영향을 미치는지 검토하는 것.
• 기존의 공정성 지표와 데이터셋이 비영어 언어에서의 교차 정체성과 사회문화적 뉘앙스를 어떻게 제대로 포착하지 못하는지 부각하는 것.
• 다양한 분야와 문화를 반영하는 다학문적 팀과 문화적으로 인지된 평가 기준을 통해 다국어 언어 모델의 공정성을 향상시키기 위한 조언.
• 제한된 데이터 기반의 편향 평가에서 타당성과 맥락에 민감한 공정성 평가로의 전환을 요구하며, 언어적 다양성과 권력 구조를 고려한 종합적 평가 접근이 필요하다는 점을 주장하는 것.

제안 방법

• 다국어 및 비영어 NLP에서의 공정성 문헌을 종합적으로 조사하여, 편향 측정 및 완화 전략에 초점을 맞추는 것.
• 대표성 훼손과 자원 배분 훼손으로 나누어 편향 유형을 분류하며, 이들이 언어 및 문화 간에 어떻게 다르게 나타나는지에 중점을 두는 것.
• WEAT 및 SEAT와 같은 기존의 공정성 지표를 분석하면서, 그들이 교차 정체성과 문화적 차원의 편향을 포착하지 못하는 한계를 비판하는 것.
• 문화적·언어적 불일치로 인해 공정성에 중요한 응용 분야에서 제로샷 번역과 직접적인 데이터 번역이 실패할 수 있는 위험을 평가하는 것.
• 저자원 언어 및 문법적으로 성별이 구분되는 언어에서 특히 중요하게 작용하는 다양한 사회문화적 맥락을 반영한 공유 가치 체계와 문화적으로 인지된 모델 설계의 필요성을 제안하는 것.
• 교차 정체성 기반의 공정성 지표와 인간이 참여하는 평가를 통해 편향 평가의 타당성과 신뢰성을 확보할 것을 권장하는 것.

실험 결과

연구 질문

• RQ1 비영어 및 다국어 환경에서 언어 모델의 대표성 훼손과 자원 배분 훼손이 영어 중심 시스템과 비교해 어떻게 다를까?
• RQ2 WEAT 및 SEAT와 같은 기존의 공정성 지표가 다국어 및 문화적으로 다양성이 높은 환경에서 편향을 충분히 포착하지 못하는 이유는 무엇일까?
• RQ3 저자원 언어 및 문법적으로 성별이 구분되는 언어에 대해 확장 가능하고 문화적으로 인지된 공정성 평가 기준을 구축하는 데 있어 핵심 과제는 무엇일까?
• RQ4 다른 어휘, 발음, 문법적 구조와 같은 언어적 다양성이 다국어 언어 모델에서 편향을 어떻게 유발하는가?
• RQ5 다학문적이고 다문화적인 팀이 다국어 NLP 시스템에서 편향을 식별하고 완화하는 데 어떤 역할을 할 수 있는가?

주요 결과

• 대부분의 NLP 공정성 연구는 영어 중심에 머물러 있으며, 언어 사용자의 세계적 다양성에도 불구하고 비영어 및 다국어 환경에 대한 관심은 극히 미미하다.
• WEAT 및 SEAT와 같은 기존의 공정성 지표는 조작에 취약하며, 편향의 교차 정체성이나 문화적 뉘앙스를 포착하지 못한다.
• 공정성 평가를 위해 제로샷 번역이나 직접적인 데이터 번역을 사용할 경우 문화적 맥락을 유지하지 못해 잘못된 또는 효과가 없는 편향 완화 결과를 낳을 수 있다.
• 훈련 데이터의 편향은 깊이 뿌리내려 있으며, 모델들이 비영어 코퍼스에서 소수자 집단의 인구 구조적 불균형과 부재를 반영하고 있다.
• 비영어 언어에 대한 다양한 고품질의 공정성 기준이 부족하여 공정성 개선 조치의 확장성과 일반화 능력이 심각하게 제한된다.
• 현재의 공정성 접근 방식은 특히 저자원 언어 및 사회문화적으로 복잡한 환경에서 자원 배분 훼손을 해결하는 데 부적절하다.