[논문 리뷰] It's All in the Name: Mitigating Gender Bias with Name-Based Counterfactual Data Substitution

Rowan Hall Maudslay, Hila Gonen외 2명|arXiv (Cornell University)|2019. 01. 01.

Hate Speech and Cyberbullying Detection참고 문헌 19인용 수 4

한 줄 요약

이 논문은 단어 임베딩에서 직접적이고 간접적 성별 편향을 완화하기 위해 반사적 데이터 치환(CDS)과 이름 간섭 기법을 제안한다. 성별 쌍을 이룬 이름을 사용해 코퍼스 내 이름을 치환하고 반사적 증강을 적용함으로써, 평균적으로 성별 클러스터 순수도를 49% 감소시켰으며, WED와 같은 투영 기반 방법보다 비편향된 성별 유추 과제에서 평균 19% 높은 성능을 보였다.

ABSTRACT

This paper treats gender bias latent in word embeddings. Previous mitigation attempts rely on the operationalisation of gender bias as a projection over a linear subspace. An alternative approach is Counterfactual Data Augmentation (CDA), in which a corpus is duplicated and augmented to remove bias, e.g. by swapping all inherently-gendered words in the copy. We perform an empirical comparison of these approaches on the English Gigaword and Wikipedia, and find that whilst both successfully reduce direct bias and perform well in tasks which quantify embedding quality, CDA variants outperform projection-based methods at the task of drawing non-biased gender analogies by an average of 19% across both corpora. We propose two improvements to CDA: Counterfactual Data Substitution (CDS), a variant of CDA in which potentially biased text is randomly substituted to avoid duplication, and the Names Intervention, a novel name-pairing technique that vastly increases the number of words being treated. CDA/S with the Names Intervention is the only approach which is able to mitigate indirect gender bias: following debiasing, previously biased words are significantly less clustered according to gender (cluster purity is reduced by 49%), thus improving on the state-of-the-art for bias mitigation.

연구 동기 및 목표

• WED와 같은 투영 기반 편향 제거 방법의 한계를 해결하기 위해 간접적 성별 편향을 완화하지 못하는 문제를 해결한다.
• 텍스트 중복을 줄이고 성별 어휘의 커버리지 확보를 통해 반사적 데이터 증강(CDA)을 향상시킨다.
• 간단한 단어 쌍을 넘어서 성별 편향을 포괄하는 확장 가능한 이름 기반 간섭 기법을 개발한다.
• 감성 분류 및 단어 유사도와 같은 하류 NLP 과제에서 편향 제거 기법이 유지하는 기능성 여부를 평가한다.
• 선형 부분공간을 통한 성별 편향 제거가 과도하게 보편적인 성별 정보까지 제거하는지 여부를 조사한다.

제안 방법

• CDA의 변종인 반사적 데이터 치환(CDS)을 제안하여, 코퍼스를 복제하는 대신 편향된 텍스트를 치환함으로써 기하급수적 증가를 방지한다.
• 빈도와 성별 특이성에 기반한 이름 쌍 전략을 사용해 균형 잡힌 남성-여성 이름 쌍을 생성하는 이름 간섭 기법을 도입한다.
• CDS와 이름 간섭 기법을 결합하여 성별 이름을 체계적으로 교환한 반사적 코퍼스를 생성한다.
• 생성된 코퍼스를 사용해 단어 임베딩을 재학습함으로써 직접적 및 간접적 성별 편향을 감소시키는 것을 목표로 한다.
• 가장 편향된 단어의 군집을 통해 성별 기반 클러스터 순수도 감소를 측정한다.
• 유용성 유지 여부 평가를 위해 비편향된 성별 유추 과제, SimLex-999, 감성 분류 과제에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 CDA 및 그 변종이 반사적 임베딩에서 성별 클러스터 순수도 감소를 통해 간접적 성별 편향을 완화할 수 있는가?
• RQ2 대규모 코퍼스에서 CDA 대비 CDS의 성능 및 계산 효율성은 어떻게 비교되는가?
• RQ3 WED가 비편향된 성별 유추 과제에서 높은 오류율(예: Gigaword에서 27.1%)을 보이며 너무 많은 성별 정보를 제거하는가?
• RQ4 이름 간섭 기법이 표준 CDA 대비 편향 완화의 커버리지와 효과성에 얼마나 기여하는가?
• RQ5 편향 제거된 임베딩이 감성 분류 및 단어 유사도와 같은 하류 NLP 과제에서 여전히 기능성을 유지하는가?

주요 결과

• CDA/S와 이름 간섭 기법은 영어 기가워드 및 위키백과에서 성별 클러스터 순수도를 평균 49% 감소시켜 간접적 성별 편향을 성공적으로 완화했다.
• 비편향된 성별 유추 과제에서 CDA 및 CDS는 WED 변종보다 평균 19% 높은 성능을 보였으며, 성별 의미 정보 유지에 유리함을 시사한다.
• WED70는 비편향된 유추 과제에서 기준선보다 성능이 열 劣하다(기가워드에서 오류율 27.1%), 이는 너무 많은 성별 정보를 제거했음을 시사한다.
• 이름 간섭 기법은 간단한 단어 쌍을 넘어서 성별 이름을 효과적으로 처리함으로써 편향 완화 범위를 크게 확장시켰다.
• CDS 및 CDA에서 유도된 편향 제거 임베딩은 SimLex-999 및 감성 분류 과제에서 강력한 성능을 유지해 기능성 유지가 확인되었다.
• CDS는 복제 대신 치환을 사용함으로써 CDA보다 계산 효율성이 높으며, 기하급수적 코퍼스 증가 없이도 다중 간섭 계층을 지원한다.