[논문 리뷰] Gender Bias in Transformer Models: A comprehensive survey

Praneeth Nemani, Yericherla Deepak Joel외 2명|arXiv (Cornell University)|2023. 06. 18.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 종합적 서베이는 언어학적 관점에서 트랜스포머 모델의 성별 편향을 비판적으로 분석하며, 편향 측정, 평가 방법, 표준화 부족 등에 대한 일관성 없는 점을 밝혀낸다. 연구는 모델 개발 파이프라인에 조기에 편향 탐지 기능을 통합하고, 공통된 기준을 갖춘 벤치마크를 도입하여 NLP 시스템의 공정성과 형평성을 향상시키기 위한 방안을 제안한다.

ABSTRACT

Gender bias in artificial intelligence (AI) has emerged as a pressing concern with profound implications for individuals' lives. This paper presents a comprehensive survey that explores gender bias in Transformer models from a linguistic perspective. While the existence of gender bias in language models has been acknowledged in previous studies, there remains a lack of consensus on how to effectively measure and evaluate this bias. Our survey critically examines the existing literature on gender bias in Transformers, shedding light on the diverse methodologies and metrics employed to assess bias. Several limitations in current approaches to measuring gender bias in Transformers are identified, encompassing the utilization of incomplete or flawed metrics, inadequate dataset sizes, and a dearth of standardization in evaluation methods. Furthermore, our survey delves into the potential ramifications of gender bias in Transformers for downstream applications, including dialogue systems and machine translation. We underscore the importance of fostering equity and fairness in these systems by emphasizing the need for heightened awareness and accountability in developing and deploying language technologies. This paper serves as a comprehensive overview of gender bias in Transformer models, providing novel insights and offering valuable directions for future research in this critical domain.

연구 동기 및 목표

• 트랜스포머 모델의 성별 편향을 측정하는 데 사용되는 기존 방법론과 지표를 비판적으로 평가하는 것.
• 현재 접근 방식의 핵심적 한계를 규명하는 것, 즉 잘못된 지표, 작은 데이터셋 크기, 표준화 부족 등.
• 대화 시스템 및 기계 번역과 같은 실세계 NLP 응용 분야에서의 성별 편향의 실제 영향을 분석하는 것.
• 사회적 해를 방지하기 위해 편향 탐지 기능을 모델 개발 라이프사이클의 조기에 통합할 것을 주장하는 것.
• 공정성과 비교 가능성 향상을 위해 표준화된 평가 기준을 도입하여 성별 편향 연구의 질을 높이는 것.

제안 방법

• NLP 및 트랜스포머 모델의 성별 편향에 관한 100편 이상의 연구를 체계적 검토 및 비판적 분석.
• 언어학적, 의미론적, 표현 수준의 접근 방식에 기반한 편향 측정 기법의 분류.
• 평가 프레임워크의 반복적인 결함 식별, 즉 단일 기준 지표 의존과 불완전한 편향 정의.
• 아마존의 편향된 채용 도구 사례 연구 분석을 통해 미처 해결되지 않은 성별 편향의 실세계적 결과를 설명.
• 조기 단계의 편향 탐지와 연구 기획 단계에서의 윤리적 책임을 강조하는 다면적 평가 프레임워크 제안.
• 모델 개발 및 논문 발표 과정에서 표준화된 벤치마크와 윤리적 심사 절차를 도입할 것을 권고.

Figure 1: Gender Bias in Word Embeddings

실험 결과

연구 질문

• RQ1 트랜스포머 모델의 성별 편향을 측정하는 데 주로 사용되는 방법론과 지표는 무엇이며, 이들이 연구 간에 얼마나 일관성 있는가?
• RQ2 불완전한 지표와 작은 데이터셋과 같은 잘못된 평가 관행이 성별 편향 평가의 신뢰성에 어떤 영향을 미치는가?
• RQ3 대화형 챗봇 및 기계 번역 시스템과 같은 실세계 NLP 응용 분야에서의 성별 편향이 초래하는 후속 영향은 무엇인가?
• RQ4 왜 편향 평가에 표준화가 부족한가? 이로 인해 공정성 연구의 진전이 어떻게 저해되는가?
• RQ5 어떻게 하면 편향 탐지 기능을 모델 개발 파이프라인에 효과적으로 통합하여 사회적 해를 방지할 수 있는가?

주요 결과

• 성별 편향 측정에 있어 상당한 공감대가 없으며, 대부분의 연구가 단일 정의에 의존하고, 여러 접근 방식 간의 병행 평가가 부족하다.
• 다수의 최신 모델들이 배포 후에야 성별 편향을 테스트하기 때문에, 보완 조치가 가능하기 전에 사회적 해를 초래할 위험이 높아진다.
• 아마존의 채용 도구 사례처럼, 훈련 데이터가 역사적 성별 불균형을 반영할 경우 성별 편향이 발생하여 차별적인 결과를 낳을 수 있다.
• 현재 연구는 평가 기준의 일관성 부족으로 곤경에 빠져 있으며, 표준화된 벤치마크의 사용이 제한되어 있어 재현 가능성과 비교 가능성 저하를 겪고 있다.
• 연구는 사전 학습된 모델 전반에 걸쳐 편향이 광범위하게 존재하며, 대부분의 모델이 중립적 맥락에서도 어떤 형태의 성별 예측을 보임을 규명했다.
• 저자들은 조기에 편향 탐지 기능과 연구 기획 단계에서의 공식화된 윤리적 심사 절차를 통합하는 것이 더 공정한 NLP 시스템을 구축하는 데 필수적이라고 결론 내린다.

Figure 2: Evidence of Gender Bias in MT even due to the presence of unambiguous gender context