[論文レビュー] Reducing Gender Bias in Word-Level Language Models with a Gender-Equalizing Loss Function

Yusu Qian, Urwa Muaz+2 more|arXiv (Cornell University)|May 30, 2019

Topic Modeling参考文献 10被引用数 8

ひとこと要約

本稿では、男性・女性の代名詞および職業用語の予測確率を均等化するように損失関数を修正することにより、単語レベルの言語モデルにおける性別バイアスを軽減する手法を提案する。このアプローチは、周囲の文脈に依存する職業関連の予測において特に顕著なバイアス低減効果を示し、困惑度の著しい上昇を伴わず、データ拡張や単語埋め込みのデバイアス化を含む既存の手法を上回る性能を発揮する。さらに、反事実的データ拡張と組み合わせることで、最先端の性能を達成する。

ABSTRACT

Gender bias exists in natural language datasets which neural language models tend to learn, resulting in biased text generation. In this research, we propose a debiasing approach based on the loss function modification. We introduce a new term to the loss function which attempts to equalize the probabilities of male and female words in the output. Using an array of bias evaluation metrics, we provide empirical evidence that our approach successfully mitigates gender bias in language models without increasing perplexity. In comparison to existing debiasing strategies, data augmentation, and word embedding debiasing, our method performs better in several aspects, especially in reducing gender bias in occupation words. Finally, we introduce a combination of data augmentation and our approach, and show that it outperforms existing strategies in all bias evaluation metrics.

研究の動機と目的

• 訓練データに起因するニューラル言語モデルにおける性別バイアスを是正すること。
• 損失関数の修正によって、モデル学習段階でバイアス低減が可能かどうかを調査すること。
• 事前処理や単語埋め込みのデバイアス化に依存せずに、エンドツーエンドのデバイアス化が有効かどうかを評価すること。
• 本手法を、データ拡張や正則化に基づく埋め込みデバイアス化を含む既存のデバイアス化戦略と比較すること。
• 本アプローチが下流NLPタスクへの一般化性を有するかどうかを検討すること。

提案手法

• 性別語ペア（例：he/she、father/mother）の予測確率の差をペナルティとして課す性別均等化損失項を導入する。
• 損失関数は、モデル出力分布における性別語の対数確率の差を最小化するように設計されている。
• このアプローチは、モデル全体のパラメータを調整することで、学習中にエンドツーエンドで適用され、予測のバイアス低減が図られる。
• データ拡張や単語埋め込みの明示的幾何的デバイアス化を必要としない。
• ハイパーパrameterの最適化にはランダムサーチを用い、バイアス低減と困惑度のトレードオフを最適化する。
• さらに性能向上を図るため、反事実的データ拡張（CDA）と組み合わせて適用する。

実験結果

リサーチクエスチョン

• RQ1 訓練中に損失関数を修正することで、言語モデルの性別バイアスを効果的に低減できるか？
• RQ2 データ拡張や単語埋め込みデバイアス化と比較して、損失ベースのデバイアス化はバイアス低減と困惑度の両面でどのように差をつけるか？
• RQ3 損失関数の修正によるエンドツーエンドのデバイアス化は、埋め込みレベルの技術よりも、より強固で一般化性の高いバイアス低減を実現できるか？
• RQ4 本手法は、性別ステレオタイプの主要な指標である職業関連の予測におけるバイアスをどの程度低減できるか？
• RQ5 本手法の損失ベースのアプローチとデータ拡張を組み合わせることで、優れたデバイアス化性能が得られるか？

主な発見

• ハイパーパrameter値λ = 1のとき、職業バイアス指標$CB|o$は100%低減され、$CB|g$は98.52%低減された。
• 性別バイアス指標$B^{N}$は58.95%低減され、$B_{c}^{N}$は45.74%低減された。
• 埋め込みバイアス指標$EB_{d}$は98.98%低減され、REGおよびCDAを上回る性能を示した。
• 生成テキスト全体で性別比（GR ≈ 1）がバランスしていることから、性別不均衡の有効な是正が図られていることが示された。
• λ値が高くなるにつれて困惑度はわずかに上昇するが、その増加は限定的であり、モデルの有用性に悪影響を及げない。
• 本手法の損失関数と反事実的データ拡張（CDA）の組み合わせは、すべてのバイアス指標で個別の手法を上回り、低困惑度を維持した。