[논문 리뷰] Towards Debiasing Sentence Representations

Paul Pu Liang, Irene Li외 4명|arXiv (Cornell University)|2020. 07. 16.

Topic Modeling참고 문헌 48인용 수 7

한 줄 요약

이 논문은 BERT와 ELMo와 같은 컨텍스트 기반 문장 표현에서 성별 및 종교적 편향을 제거하기 위해 다양한 문장 템플릿을 생성하여 편향 부분공간을 추정하고 제거하는 후행적 편향 제거 방법인 Sent-Debias를 제안한다. 이 방법은 감성 분석 및 자연어 이해와 같은 후행 NLP 작업에서 성능을 유지하면서도 성별 및 종교적 편향을 효과적으로 감소시킨다.

ABSTRACT

As natural language processing methods are increasingly deployed in real-world scenarios such as healthcare, legal systems, and social science, it becomes necessary to recognize the role they potentially play in shaping social biases and stereotypes. Previous work has revealed the presence of social biases in widely used word embeddings involving gender, race, religion, and other social constructs. While some methods were proposed to debias these word-level embeddings, there is a need to perform debiasing at the sentence-level given the recent shift towards new contextualized sentence representations such as ELMo and BERT. In this paper, we investigate the presence of social biases in sentence-level representations and propose a new method, Sent-Debias, to reduce these biases. We show that Sent-Debias is effective in removing biases, and at the same time, preserves performance on sentence-level downstream tasks such as sentiment analysis, linguistic acceptability, and natural language understanding. We hope that our work will inspire future research on characterizing and removing social biases from widely adopted sentence representations for fairer NLP.

연구 동기 및 목표

• 최신 문장 표현 기술인 BERT와 ELMo에 사회적 편향이 존재하는지 조사하기 위해.
• 재학습이 계산적으로 비현실적인 대규모 미세조정된 문장 인코더를 위한 편향 제거 문제를 해결하기 위해.
• 후행 작업 성능을 유지하면서 문장 수준의 표현에서 편향을 줄이는 후행적 편향 제거 방법을 개발하기 위해.
• 정확한 편향 부분공간 추정을 위해 다양한 문장 템플릿의 중요성을 입증하기 위해.

제안 방법

• 자연어 텍스트 코퍼스에서 다양한 문장 템플릿을 생성하여 편향 속성 어휘(예: 'man', 'woman', 'Muslim', 'Christian')를 문맥화하기 위해.
• 이러한 문맥화된 문장을 사용하여 선형 대수적 투영을 통해 문장 표현의 편향 부분공간을 추정하기 위해.
• Hard-Debias 방법의 변형을 적용하여 추정된 편향 부분공간을 문장 임베딩에서 제거하기 위해.
• 재학습 없이 사전 훈련된 문장 인코더에 대해 후처리 단계로 편향 제거를 수행하기 위해.
• 중립 문장에만 편향 제거를 적용하여 본질적으로 속성에 특화된 어휘(예: 'grandmother')는 편향 제거에서 제외하기 위해.
• 모델 미세조정 후 편향 부분공간을 재추정하고 재적용하여 성능 유지에 기여하기 위해.

실험 결과

연구 질문

• RQ1 BERT와 ELMo와 같은 사전 훈련된 문장 표현에서 성별 및 종교와 같은 사회적 편향이 얼마나 심각하게 내재되어 있는가?
• RQ2 재학습 없이도 후행적 편향 제거 기법이 문장 표현의 편향을 효과적으로 줄일 수 있는가?
• RQ3 문장 템플릿의 다양성과 커버리지가 편향 부분공간 추정 정확도에 어떤 영향을 미치는가?
• RQ4 문장 표현의 편향 제거가 감성 분석 및 자연어 이해와 같은 후행 NLP 작업 성능을 떨어뜨리는가?
• RQ5 제안된 방법이 다양한 문장 인코더와 후행 작업에 일반화 가능한가?

주요 결과

• Sent-Debias는 BERT와 ELMo에서 성별 및 종교적 편향을 효과적으로 줄였으며, 후행 작업 성능에 영향을 주지 않았다.
• SST-2 감성 분석 작업에서 BERT의 정확도는 편향 제거 후 92.7%에서 89.1%로 떨어졌으며, 성능 손실가능성이 매우 낮았다.
• CoLA 수용성 작업에서 ELMo의 성능은 39.1%에서 37.1%로 약간 감소했으며, 작은 손실이지만 수용 가능한 수준이었다.
• QNLI 자연어 추론 작업에서 성능은 유지되었으며, BERT는 편향 제거 후에도 91.3%의 정확도를 유지했다.
• 큰 규모이자 다양한 문장 템플릿을 사용할 경우, 제한적 또는 비다양성 템플릿보다 편향 부분공간 추정 정확도가 크게 향상되었다.
• 모델 미세조정 이후에도 편향 제거가 효과적이었으며, 성능 유지를 위해 편향 부분공간 재추정이 필요하다.