[논문 리뷰] Towards WinoQueer: Developing a Benchmark for Anti-Queer Bias in Large Language Models

Virginia K. Felkner, Ho-Chun Herbert Chang외 2명|arXiv (Cornell University)|2022. 06. 23.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(LM)에서 반-Lesbian, Gay, Bisexual, Trans, Queer( LGBTQ+) 편견을 측정하기 위한 벤치마크인 WinoQueer를 소개한다. BERT와 같은 모델들이 심각한 동성애 혐오 및 본인의 성적 지향이나 성별 정체성에 대한 편견을 내포하고 있음을 입증하며, LGBQ+ 커뮤니티에서 생성한 소셜 미디어 데이터로의 피니튜닝은 이러한 편견을 크게 줄이고, 하류 작업 성능 저하를 최소화함을 보여준다.

ABSTRACT

This paper presents exploratory work on whether and to what extent biases against queer and trans people are encoded in large language models (LLMs) such as BERT. We also propose a method for reducing these biases in downstream tasks: finetuning the models on data written by and/or about queer people. To measure anti-queer bias, we introduce a new benchmark dataset, WinoQueer, modeled after other bias-detection benchmarks but addressing homophobic and transphobic biases. We found that BERT shows significant homophobic bias, but this bias can be mostly mitigated by finetuning BERT on a natural language corpus written by members of the LGBTQ+ community.

연구 동기 및 목표

• 대규모 언어 모델(LLM)이 성소수자 커뮤니티 내에서 차별받는 하위군, 특히 비이원성,Lesbian, Gay, Trans 개인에 대해 반-queer 편견을 내재하고 있는지 조사하기.
• 기존 NLP 편견 연구가 주로 인종과 이元성 성별에 집중하면서 성적 소수자와 성별 소수자에 대한 표현이 부족한 점을 보완하기.
• 문맥적으로 뉘앙스가 있는, 정체성 기반의 프로브를 사용해 LLM에서 반-queer 편견을 체계적으로 측정할 수 있는 새로운 벤치마크인 WinoQueer 개발.
• 특히 LGBQ+ 커뮤니티의 소셜 미디어에서 생성된 콘텐츠로 LLM을 피니튜닝하면 반-queer 편견이 줄어드는지 평가하기.
• 표준 NLP 벤치마크에서 성능 저하가 발생하지 않도록, 편견 제거 방법이 치명적인 기억 상실(catastrophic forgetting)을 유발하지 않는지 평가하기.

제안 방법

• Winogrande 및 WinoBias 데이터셋을 모델로 삼아, 성별 또는 성적 지향 기반의 대명사로 반-queer 스테레오 타입을 탐지하는 문장 쌍을 사용해 WinoQueer 벤치마크를 개발함.
• 두 가지 다른 피니튜닝 코퍼스를 수집함: (1) 트위터에서 확보한 LGBQ+ 커뮤니티의 트윗으로, 자가 표현을 반영함; (2) LGBQ+ 이슈에 관한 주류 뉴스 기사.
• WinoQueer 벤치마크에서 BERT-base, BERT-large, SpanBERT-base, SpanBERT-large를 퀴어가 작성한 콘텐츠와 주류 미디어 코퍼스로 모두 피니튜닝함.
• 편견 측정을 위해 편견 점수를 사용함: 핵심 참조 해결 작업에서 'she/her' 대명사의 F1 점수 대비 'he/him' 대명사의 F1 점수 비율로 정의되며, 1.0은 완전한 공정성을 의미함.
• OntoNotes 및 GAP 데이터셋을 사용해 핵심 참조 해결에 대한 분석 실험을 수행하여, 편견 제거가 하류 성능에 영향을 주는지 평가함.
• 세 가지 피니튜닝 조건에서의 모델 성능 및 편견 점수를 비교함: (1) 바닐라(공장 출하형), (2) LGBQ+ 뉴스로 피니튜닝, (3) LGBQ+ 트위터 데이터로 피니튜닝.

실험 결과

연구 질문

• RQ1 공장 출하형 LLM인 BERT와 같은 모델이, 비이원성,Lesbian, Gay, Trans 개인에 대해 어느 정도 반-queer 편견을 보이는가?
• RQ2 LGBQ+ 커뮤니티에서 생성한 콘텐츠로 피니튜닝하는 것이 주류 미디어 콘텐츠로 피니튜닝하는 것보다 반-queer 편견을 더 효과적으로 줄일 수 있는가?
• RQ3 표준 NLP 벤치마크에서 성능 저하가 심각하게 발생하지 않도록, 퀴어가 작성한 데이터로의 편향 제거가 가능할 수 있는가?
• RQ4 학습 데이터 선택(예: 소셜 미디어 대비 뉴스)이 핵심 참조 해결에서 모델의 성별 및 성적 지향 편향에 어떤 영향을 미치는가?
• RQ5 퀴어 콘텐츠로의 피니튜닝이 핵심 참조 해결 모델의 기존 성별 편향을 줄이거나 악화시키는가?

주요 결과

• 공장 출하형 BERT 모델은 WinoQueer 벤치마크에서 심각한 동성애 혐오 및 본인의 성별 정체성에 대한 혐오 편견을 보이며, 편견 점수가 1.0에서 벗어나 있어 체계적인 반-queer 스테레오 타입이 내재되어 있음.
• LGBQ+ 커뮤니티의 트위터 데이터로 BERT를 피니튜닝하면 주류 뉴스로 피니튜닝하는 것보다 편견 감소 효과가 뚜렷함을 확인하여, 자가 표현이 편견 감소에 기여함을 지지함.
• 퀴어 트위터 데이터로 피니튜닝한 BERT-base 모델은 GAP 데이터셋에서 바닐라 모델 대비 편견 점수 0.95를 기록함으로써 측정 가능한 향상이 있음.
• SpanBERT 모델은 전반적으로 더 적은 편견을 보이며, SpanBERT-large는 GAP에서 0.95, 뉴스 피니튜닝 버전에선 0.93의 편견 점수를 기록함으로써 일부 편견에 대해 내재된 강건성을 보임.
• 퀴어 트위터 데이터로 피니튜닝했을 때 성능 저하가 최소화됨 — BERT-base의 OntoNotes에서 F1 점수 1.8% 감소만 기록함으로써 치명적인 기억 상실이 발생하지 않음.
• 놀랍게도, 주류 LGBQ+ 뉴스 기사로 피니튜닝하면 일부 모델에서 편견이 약간 증가함을 확인함 — 이는 미디어 보도가 커뮤니티에서 생성한 콘텐츠보다 더 많은 스테레오 타입 어휘를 내재하고 있을 수 있음을 시사함.