[논문 리뷰] Evaluating Gender Bias in Natural Language Inference

Shanya Sharma, Manan Dey외 1명|arXiv (Cornell University)|2021. 05. 12.

Natural Language Processing Techniques참고 문헌 32인용 수 6

한 줄 요약

이 논문은 성별 중립적 전제문과 성별 특정 가설문을 쌍으로 조합하여 자연어 추론(NLI) 모델의 성별 편향을 평가하는 도전 과제를 제안한다. 이로 인해 BERT, RoBERTa, BART가 심각한 성별 고정관념 기반 예측 오류를 보이는 것으로 드러났으며, 성별 균형을 갖춘 훈련 데이터를 확보하기 위한 데이터 증강 기법이 성능 저하를 최소화하면서 편향을 효과적으로 감소시킴을 확인하였다.

ABSTRACT

Gender-bias stereotypes have recently raised significant ethical concerns in natural language processing. However, progress in detection and evaluation of gender bias in natural language understanding through inference is limited and requires further investigation. In this work, we propose an evaluation methodology to measure these biases by constructing a challenge task that involves pairing gender-neutral premises against a gender-specific hypothesis. We use our challenge task to investigate state-of-the-art NLI models on the presence of gender stereotypes using occupations. Our findings suggest that three models (BERT, RoBERTa, BART) trained on MNLI and SNLI datasets are significantly prone to gender-induced prediction errors. We also find that debiasing techniques such as augmenting the training dataset to ensure a gender-balanced dataset can help reduce such bias in certain cases.

연구 동기 및 목표

• 최신 NLI 모델이 직업 고정관념과 관련하여 예측 시 성별 편향을 보이는지 조사하기.
• 성별 중립적 전제문과 성별 특정 가설문을 쌍으로 조합하여 편향을 탐지할 수 있는 타겟팅 평가 방법론을 개발하기.
• 데이터 증강 기법이 미세조정된 NLI 모델의 성별 편향을 줄이는 데 얼마나 효과적인지 평가하기.
• NLI 모델의 편향이 훈련 데이터인지 모델의 사전 훈련 데이터에서 기인하는지 규명하기.
• NLI 시스템에서 성별 편향을 평가하고 완화하기 위한 기준 성능을 설정하기.

제안 방법

• 성별 중립적 전제문과 성별이 다른 직업어휘만을 포함하는 두 개의 가설문을 쌍으로 조합하여 도전 과제를 구성한다 (예: '간호사' 대비 '의사').
• 기존의 NLI 데이터셋(SNLI, MNLI, ANLI, QNLI)을 사용하여 BERT, RoBERTa, BART를 훈련시켜 도전 과제 쌍에서의 모델 행동을 평가한다.
• 편향을 예측 차이를 통해 측정한다: 성별 어휘만 다를 뿐인 가설문에 대해 다른 레이블(함의/중립/모순)을 부여하는 경우 모델은 편향이 있다고 간주한다.
• 규칙 기반 성별 교환 증강을 훈련 데이터에 적용하여 성별 균형을 갖춘 데이터셋을 생성하고, 이를 기반으로 모델을 재미세조정한다.
• 정확도(Acc), 편향 점수(B), 예측 차이(ΔP) 등의 지표를 사용하여 원본 및 증강된 데이터셋에서의 모델 성능을 평가한다.
• 편향 완화 전후의 모델 행동을 비교하여 데이터 증강이 편향 감소에 미치는 영향과 성능 유지 능력을 평가한다.

실험 결과

연구 질문

• RQ1 최신 NLI 모델이 성별 고정관념 기반 직업 역할을 포함하는 문장에 대해 예측 시 성별 편향을 보이는가?
• RQ2 훈련 데이터에 성별 균형을 확보하는 데이터 증강 기법이 NLI 모델의 성별 편향을 줄이되 성능 저하 없이 효과적으로 작용하는가?
• RQ3 NLI 모델의 성별 편향의 근본 원인이 훈련 데이터인지 사전 훈련 데이터인지?
• RQ4 다른 사전 훈련 모델(BERT, RoBERTa, BART)이 동일한 성별 가설문 쌍에 대해 예측 일관성 측면에서 어떻게 반응하는가?
• RQ5 간단한 데이터 증강 기법이 여러 벤치마크 데이터셋에서 NLI 모델의 성별 편향을 효과적으로 완화할 수 있는가?

주요 결과

• MNLI 및 SNLI 데이터셋에 미세조정된 BERT, RoBERTa, BART 모델은 심각한 성별 고정관념 기반 예측 오류를 보이며, BERT는 MNLI에서 35.02%의 편향 점수, SNLI에서 30.01%를 기록하였다.
• 동일한 전제문이 성별이 다른 가설문과 쌍으로 조합될 때 모델의 예측이 일관되지 않으며, 이는 사회적 직업 고정관념을 반영하고 있음을 시사한다.
• 훈련 데이터에 성별 균형을 확보하기 위한 데이터 증강 기법을 적용함으로써 BERT의 편향이 감소하였으며, MNLI에서 편향 점수는 35.02%에서 14.60%로, SNLI에서는 30.01%에서 19.99%로 감소하였다.
• 편향 완화 기법은 높은 성능을 유지하였으며, BERT의 MNLI 정확도는 증강 후 84.04%에서 82.53%로 뿐만 아니라 약간의 감소를 보였다.
• RoBERTa와 BART 역시 증강 후 편향 지표에서 약간의 향상을 보였으며, 이는 주로 사전 훈련 데이터에서 기인하는 편향이라도 성별 균형을 갖춘 데이터가 도움이 된다는 것을 시사한다.
• 결과는 모델의 예측 편향이 실제 직업 분포의 성별 분포와 매우 유사하며, 이는 모델이 사회적 고정관념을 내재하고 이를 반영하고 있음을 확인한다.