[논문 리뷰] Measuring Bias in Contextualized Word Representations

Keita Kurita, Nidhi Vyas외 3명|arXiv (Cornell University)|2019. 06. 18.

Hate Speech and Cyberbullying Detection참고 문헌 25인용 수 19

한 줄 요약

이 논문은 BERT의 편향을 측정하기 위해 템플릿 기반 방법을 제안한다. 특정 속성(예: '프로그래머')에 대해 성별 대상어(예: 'he' 대비 'she')의 로그 확률 비율을 BERT의 마스킹 언어 모델링 헤드를 통해 쿼리하여 측정한다. 이 방법은 기존의 코사인 기반 접근법보다 인간의 편향과 더 일관되며, 직업 및 성격 관련 속성에서 강력한 남성 성별 연관성을 드러내며, 높은 연봉 직업의 88.5%가 'he'보다 더 강한 연관성을 보였다.

ABSTRACT

Contextual word embeddings such as BERT have achieved state of the art performance in numerous NLP tasks. Since they are optimized to capture the statistical properties of training data, they tend to pick up on and amplify social stereotypes present in the data as well. In this study, we (1)~propose a template-based method to quantify bias in BERT; (2)~show that this method obtains more consistent results in capturing social biases than the traditional cosine based method; and (3)~conduct a case study, evaluating gender bias in a downstream task of Gender Pronoun Resolution. Although our case study focuses on gender bias, the proposed technique is generalizable to unveiling other biases, including in multiclass settings, such as racial and religious biases.

연구 동기 및 목표

• 기존의 코사인 기반 방법이 신뢰성 있게 캡처하지 못하는 바이어스를 보다 일관되고 신뢰할 수 있는 방식으로 BERT와 같은 컨텍스트 기반 단어 임베딩 내에서 측정하는 데 목적이 있다.
• BERT 내 임베딩의 내재된 편향—특히 성별 편향—이 성별 대명사 해석과 같은 후행 작업에서 어떻게 나타나는지 조사하는 것.
• 실제 데이터셋을 사용하여 직업 명칭, 성격 특성, 직무 기술에 대해 BERT 내 성별 편향의 정도를 정량화하는 것.
• 제안된 방법으로 측정한 편향이 후행 작업 성능과 강하게 상관되며, 실제 NLP 응용 프로그램에서의 위험을 드러내는 것.

제안 방법

• ‘[MASK] is a [ATTRIBUTE]’와 같은 단순 템플릿 문장을 구성하며, 여기서 [MASK]는 대상 대명사(예: ‘he’ 또는 ‘she’)로 대체된다. 이를 통해 BERT의 마스킹 언어 모델링 예측을 쿼리한다.
• 특정 속성에 대해 대상어가 나타날 조건부 확률 $ p_{tgt} = P([MASK] = \text{target} \mid \text{sentence}) $ 를 계산한다.
• 모델이 특정 대상어에 대한 편향을 보정하기 위해, ‘[MASK]’와 ‘[ATTRIBUTE]’가 모두 마스킹된 문장에서의 사전 확률 $ p_{prior} = P([MASK] = \text{target} \mid \text{sentence with both targets and attribute masked}) $ 를 계산한다.
• 로그 확률 편향 점수를 $ \log{\frac{p_{tgt}}{p_{prior}}} $ 로 계산하여, 대상어와 속성 간의 상대적 연관 강도를 측정한다.
• 이 정규화된 점수를 사용해 두 대상어(예: 'he' 대비 'she') 간의 연관성을 비교하고, 최종 편향 점수로 차이를 계산한다.
• 일관된 템플릿을 사용해 여러 데이터셋에 적용한다: 직장 임금 데이터(고임금 직업), 긍정/부정 성격 특성, O*NET(기술).

실험 결과

연구 질문

• RQ1 템플릿 기반 마스킹 언어 모델링 접근법이 기존의 코사인 기반 방법보다 BERT 내 편향 측정에 더 일관되고 신뢰할 수 있는가?
• RQ2 BERT가 직업 명칭, 성격 특성, 직무 기술과의 연관성에서 얼마나 강한 성별 편향을 보이는가?
• RQ3 제안된 방법으로 측정한 내재된 편향이 성별 대명사 해석과 같은 후행 작업 성능과 얼마나 상관되는가?
• RQ4 제안된 방법이 다중 클래스 또는 고정관념 기반 속성 설정에서 이전 접근법보다 더 세밀한 편향 패턴을 드러내는가?

주요 결과

• 제안된 로그 확률 편향 점수 방법은 기존의 WEAT/코사인 기반 방법보다 인간의 애너테이션 편향과 더 높은 일관성을 보였으며, 특히 컨텍스트 기반 임베딩에서 두드러졌다.
• Montgomery County 직장 임금 데이터셋의 상위 1,000개 고임금 직업 중 88.5%가 'she'보다 'he'와 더 강한 연관성을 보였다.
• 긍정적 성격 특성의 80.0%와 부정적 특성의 78.9%가 'she'보다 'he'와 더 강하게 연관되어 있어 광범위한 성별 연관성이 존재함을 시사한다.
• O*NET 기술 스킬의 84.0%가 'she'보다 'he'와 더 강한 연관성을 보였으며, 이는 편향이 기술 역량 영역으로까지 확장됨을 의미한다.
• 제안된 방법으로 측정한 내재된 편향은 성별 대명사 해석 작업에서 성능 저하와 강력하고 유의미한 상관관계를 보였으며, 실제 응용 프로그램에 영향을 미칠 수 있음을 시사한다.
• 이 방법은 직업의 명성, 성격 특성, 기술 등 다양한 속성 유형에서 편향을 성공적으로 폭 드러내며, 이중성 성별 고정관념을 넘어서 일반화 가능성을 입증했다.