[論文レビュー] It's All in the Name: Mitigating Gender Bias with Name-Based Counterfactual Data Substitution

Rowan Hall Maudslay, Hila Gonen+2 more|arXiv (Cornell University)|Jan 1, 2019

Hate Speech and Cyberbullying Detection参考文献 19被引用数 4

ひとこと要約

本稿では、語彙埋め込みにおける直接的および間接的性別バイアスを軽減するため、反事実的データ置換（CDS）および名前干渉法を提案する。名前のペアを用いてコーパス内の名前を置換し、反事実的拡張を適用することで、性別クラスタ純度を平均で49%低減した。これはWEDのような投影ベースの手法よりも、非バイアス性別類似度タスクで平均19%優れている。

ABSTRACT

This paper treats gender bias latent in word embeddings. Previous mitigation attempts rely on the operationalisation of gender bias as a projection over a linear subspace. An alternative approach is Counterfactual Data Augmentation (CDA), in which a corpus is duplicated and augmented to remove bias, e.g. by swapping all inherently-gendered words in the copy. We perform an empirical comparison of these approaches on the English Gigaword and Wikipedia, and find that whilst both successfully reduce direct bias and perform well in tasks which quantify embedding quality, CDA variants outperform projection-based methods at the task of drawing non-biased gender analogies by an average of 19% across both corpora. We propose two improvements to CDA: Counterfactual Data Substitution (CDS), a variant of CDA in which potentially biased text is randomly substituted to avoid duplication, and the Names Intervention, a novel name-pairing technique that vastly increases the number of words being treated. CDA/S with the Names Intervention is the only approach which is able to mitigate indirect gender bias: following debiasing, previously biased words are significantly less clustered according to gender (cluster purity is reduced by 49%), thus improving on the state-of-the-art for bias mitigation.

研究の動機と目的

• WEDのような投影ベースのデバイアス化手法の限界、特に間接的性別バイアスを軽減できない点を解決すること。
• テキストの重複を減らし、性別語のカバレッジを高めることで、反事実的データ拡張（CDA）を改善すること。
• 単純な語のペアをはるかに超えた性別バイアスを捉える、スケーラブルな名前ベースの干渉法を開発すること。
• 感情分類や語の類似度といった下流NLPタスクにおける性能維持の観点から、デバイアス化手法の有用性を評価すること。
• 線形部分空間を用いた性別バイアス除去が、有用な性別情報まで過剰に除去してしまうかどうかを調査すること。

提案手法

• CDAの変種として、コーパスの複製を避ける代わりにバイアスのあるテキストを置換する反事実的データ置換（CDS）を提案し、指数的成長を回避する。
• 頻度と性別特異性を用いてバランスの取れた男性・女性名のペアを生成する名前ペア戦略を導入する。
• CDSと名前干渉法を組み合わせ、性別名を体系的に交換した反事実的コーパスを作成する。
• 得られたコーパスを用いて再トレーニングし、直接的および間接的性別バイアスの両方を低減することを目的とする。
• 最もバイアスの強い語のクラスタリングを用いて、性別ベースのクラスタ純度の低下を測定する。
• 非バイアス性別類似度、SimLex-999、感情分類の各タスクで性能を評価し、有用性の維持を検証する。

実験結果

リサーチクエスチョン

• RQ1 CDAおよびその変種は、語彙埋め込みにおける性別クラスタ純度の低下によって測定される間接的性別バイアスを軽減できるか？
• RQ2 大規模コーパスにおいて、CDAとCDSの性能および計算効率はどのように比較されるか？
• RQ3 WEDは非バイアス性別類似度タスクで悪い成績を示すことで、性別情報の過剰除去が生じているとされるが、その通りか？
• RQ4 標準的なCDAと比較して、名前干渉法はバイアス軽減のカバレッジと効果性をどの程度向上させるか？
• RQ5 デバイアス化された埋め込みは、感情分類や語の類似度といった下流NLPタスクでも有用性を維持しているか？

主な発見

• CDA/Sに名前干渉法を適用することで、英語GigawordおよびWikipediaの両コーパスで性別クラスタ純度が平均49%低下し、間接的性別バイアスの軽減に成功した。
• 非バイアス性別類似度タスクにおいて、CDAおよびCDSはWEDの変種よりも平均19%優れており、性別意味論の保存が良好であることが示された。
• WED70は非バイアス類似度タスクで、バイアスなしベースラインよりも成績が悪く（Gigawordでは27.1%の誤差率）、性別情報の過剰除去が生じていると考えられる。
• 名前干渉法により、単純な語のペアをはるかに超えた性別名の処理が可能となり、バイアス軽減の範囲が著しく拡大された。
• CDSおよびCDAから得られたデバイアス化された埋め込みは、SimLex-999および感情分類タスクで強く性能を維持しており、有用性の維持が裏付けられた。
• CDSは重複を避ける置換を採用しているため、CDAよりも計算的に効率的であり、指数的コーパス成長を伴わずに複数の干渉レイヤーをサポートできる。