[논문 리뷰] Debiasing Pre-trained Contextualised Embeddings

Masahiro Kaneko, Danushka Bollegala|arXiv (Cornell University)|2021. 01. 23.

Topic Modeling참고 문헌 42인용 수 10

한 줄 요약

이 논문은 재학습 없이 토큰 수준 또는 문장 수준에서 작동하는 피니튜닝 기반의 디버이징 방법을 제안한다. 이는 사전 훈련된 컨텍스트 기반 단어 임베딩의 성별 편향을 효과적으로 줄이며, BERT, RoBERTa, ALBERT, DistilBERT, ELECTRA 등의 최신 기술 모델들에서 의미적 품질을 유지한다. 모든 레이어에 걸쳐 토큰 수준의 디버이징이 가장 우수한 성능을 보였다.

ABSTRACT

In comparison to the numerous debiasing methods proposed for the static non-contextualised word embeddings, the discriminative biases in contextualised embeddings have received relatively little attention. We propose a fine-tuning method that can be applied at token- or sentence-levels to debias pre-trained contextualised embeddings. Our proposed method can be applied to any pre-trained contextualised embedding model, without requiring to retrain those models. Using gender bias as an illustrative example, we then conduct a systematic study using several state-of-the-art (SoTA) contextualised representations on multiple benchmark datasets to evaluate the level of biases encoded in different contextualised embeddings before and after debiasing using the proposed method. We find that applying token-level debiasing for all tokens and across all layers of a contextualised embedding model produces the best performance. Interestingly, we observe that there is a trade-off between creating an accurate vs. unbiased contextualised embedding model, and different contextualised embedding models respond differently to this trade-off.

연구 동기 및 목표

• 정적 임베딩에 비해 컨텍스트 기반 단어 임베딩에 대한 효과적인 디버이징 방법의 부족을 해결한다.
• 모델의 복잡성, 맥락에 따라 달라지는 편향, 재학습의 높은 계산 비용으로 인한 디버이징 과제를 극복한다.
• 아키텍처 변경 없이도 어떤 사전 훈련된 컨텍스트 기반 모델에도 적용 가능한 경량의 피니튜닝 기반 방법을 개발한다.
• 컨텍스트 기반 임베딩에 포함된 전통적인 성별 편향을 제거하면서 의미 정보를 유지한다.
• 표준화된 벤치마크를 사용해 여러 모델과 데이터셋에서 디버이징 효과를 체계적으로 평가한다.

제안 방법

• 컨텍스트 기반 임베딩을 토큰 수준 또는 문장 수준에서 디버이징할 수 있는 피니튜닝 방법을 제안한다.
• 변환기 기반 모델의 각 레이어에 대해 별도로 이 방법을 적용하여 광범위한 편향 제거를 보장한다.
• 편향 제거 과정을 안내하기 위해 여성성과 남성성을 나타내는 단어 벡터(성별 특화 벡터)를 사용한다.
• 목표 단어를 포함한 모든 문장의 평균 히든 상태를 계산하여 성별 편향 표현을 추정한다.
• 코사인 유사도를 최소화하도록 투영을 통해 임베딩를 조정하면서 의미적 밀도를 유지한다.
• 모든 토큰과 레이어에 동일하게 디버이징을 적용하여 얕은 또는 깊은 표현에 잔류하는 편향을 방지한다.

실험 결과

연구 질문

• RQ1 재학습 없이 피니튜닝 기반 방법이 사전 훈련된 컨텍스트 기반 임베딩을 효과적으로 디버이징할 수 있는가?
• RQ2 토큰 수준의 디버이징과 문장 수준의 디버이징는 편향 감소와 의미 유지에 어떻게 영향을 미치는가?
• RQ3 컨텍스트 기반 모델의 모든 레이어에서 디버이징을 수행하면 선택적 레이어 디버이징보다 더 나은 결과를 얻을 수 있는가?
• RQ4 다양한 컨텍스트 기반 모델들(BERT, RoBERTa, ALBERT 등)은 동일한 디버이징 절차에 대해 편향 감소와 성능 저하의 상호 관계에서 어떻게 반응하는가?
• RQ5 편향을 줄이면서 의미 정보를 얼마나 잘 유지할 수 있는가?

주요 결과

• 컨텍스트 기반 모델의 모든 레이어에 걸쳐 토큰 수준의 디버이징을 적용할 경우 성별 편향 감소에서 가장 우수한 종합 성능을 기록한다.
• 첫 번째 및 마지막 레이어만 디버이징하는 것은 부족하며, 특히 DistilBERT와 같은 모델에서는 중간 레이어에 편향이 남아 있다.
• 제안된 방법은 BERT, RoBERTa, ALBERT, DistilBERT, ELECTRA 등 평가된 모든 모델에서 SEAT 및 MNLI 벤치마크에서 성별 편향을 효과적으로 줄였다.
• 모델 정확도와 공정성 사이에 상충 관계가 존재한다: RoBERTa와 ALBERT는 각각 디버이징 과정에서 다른 반응을 보이며, RoBERTa의 경우 디버이징 부족, ALBERT의 경우 과도한 디버이징을 보여, 각 모델의 특성에 따라 반응이 다름을 시사한다.
• 시각화 결과, 전통적인 성별 연관어에 대해 디버이징된 임베딩의 성별 점수는 0에 수렴함을 보여, 성별 연관성이 감소했지만, 모델에 따라 분포 이동 정도가 다르게 나타났다.
• 디버이징 후 벤치마크 작업에서 일관된 최종 성능 유지로 인해 의미 품질이 잘 유지됨을 입증했다.