[논문 리뷰] Gender Bias in Coreference Resolution: Evaluation and Debiasing Methods

Jieyu Zhao, Tianlu Wang외 3명|arXiv (Cornell University)|2018. 04. 18.

Topic Modeling참고 문헌 20인용 수 95

한 줄 요약

규칙 기반, 특징 기반, 신경망 시스템 전반에 걸친 코어퍼런스에서의 성별 편향을 측정하기 위해 WinoBias를 도입한다; 편향이 존재하며 데이터 증강과 편향 제거 임베딩으로 성능에 미치는 영향은 최소화하면서 이를 완화할 수 있음을 보인다.

ABSTRACT

We introduce a new benchmark, WinoBias, for coreference resolution focused on gender bias. Our corpus contains Winograd-schema style sentences with entities corresponding to people referred by their occupation (e.g. the nurse, the doctor, the carpenter). We demonstrate that a rule-based, a feature-rich, and a neural coreference system all link gendered pronouns to pro-stereotypical entities with higher accuracy than anti-stereotypical entities, by an average difference of 21.1 in F1 score. Finally, we demonstrate a data-augmentation approach that, in combination with existing word-embedding debiasing techniques, removes the bias demonstrated by these systems in WinoBias without significantly affecting their performance on existing coreference benchmark datasets. Our dataset and code are available at http://winobias.org.

연구 동기 및 목표

• 코어퍼런스에서의 성별 편향 연구와 그것이 사회에 미치는 잠재적 영향을 동기 부여한다.
• 직업 기반 대명사를 사용하여 편향된 고정관념을 지지하는/반대하는 연결을 탐색하기 위한 표적 벤치마크(WinoBias)를 만든다.
• 시스템 간 프로-고정관념적 조건화와 반고정관념적 조건화를 비교하여 편향을 정량화한다.
• 성별 교환 데이터 증강과 편향 제거 단어 임베딩을 포함한 편향 제거 전략을 제안하고 평가하여 코어퍼런스 정확도를 유지하면서 편향을 감소시킨다.

제안 방법

• 40개 직업과 성별 대명사를 중심으로 한 Winograd-형 템플릿 두 유형으로 WinoBias를 구성한다.
• OntoNotes와 WinoBias에서 세 가지 대표적인 코어퍼런스 시스템(규칙 기반, 특징 기반, 엔드-투-엔드 신경망)을 평가한다.
• 성별 표현 및 직업 언급을 포함한 OntoNotes 학습 데이터를 검토하여 편향의 원인을 분석한다.
• 학습 데이터의 성별 상관 관계를 균형 있게 만들기 위한 성별 교환 데이터 증강을 제안한다.
• 고정 자원(편향 제거 임베딩, 성별 목록)에 대한 편향 제거 기법을 적용하고 증강과 결합하여 편향을 줄인다.
• 편향 제거가 WinoBias에서 프로-고정관념적 대 반고정관념적 격차를 줄이고 OntoNotes에서의 성능 손실을 최소화함을 보인다.

실험 결과

연구 질문

• RQ1 WinoBias에서 프로-고정관념적 직업과 반고정관념적 직업에 대한 성능 차이로 측정되듯 코어퍼런스 시스템이 성별 편향을 보이나요?
• RQ2 성별 교환을 통한 데이터 증강과 임베딩/편향 제거가 표준 벤치마크에서의 코어퍼런스 정확도를 크게 해치지 않으면서 이러한 편향을 줄일 수 있나요?
• RQ3 코어퍼런스 작업에 일반적으로 사용되는 학습 데이터(OntoNotes)의 주요 편향 원천은 무엇인가요?
• RQ4 편향 제거 방법이 서로 다른 모델 아키텍처(규칙 기반, 특징 기반, 신경망)와 어떻게 상호 작용하여 성별 편향을 완화하나요?

주요 결과

• 세 가지 대표 시스템 모두 WinoBias에서 프로-고정관념적 조건과 반고정관념적 조건 간에 측정 가능한 차이를 보인다.
• 데이터 증강 방법(성별 교환)과 편향 제거 임베딩 및 자원 편향 제거를 결합하면 WinoBias의 편향 신호를 줄이거나 제거하면서 OntoNotes에서의 경쟁력 있는 성능을 유지한다.
• OntoNotes에서 여성 엔터티가 과소대표되며, 성별 교환은 이 편향에 대응하는 균형 잡힌 보조 데이터를 생성할 수 있다.
• 시스템은 충분히 강한 대체 신호가 제공되면 편향을 무시할 수 있으며, 신호가 강할 때 편향이 불가피하지 않음을 시사한다.
• 제안된 데이터 증강 및 임베딩 편향 제거 접근법은 주요 벤치마크 데이터 세트에서 거의 손실이 없거나 미미한 손실을 가져오며, 코어퍼런스의 편향 제거에 실용적 응용 가능성을 시사한다.