[論文レビュー] Learning Gender-Neutral Word Embeddings

Jieyu Zhao, Yichao Zhou+3 more|arXiv (Cornell University)|Aug 29, 2018

Natural Language Processing Techniques参考文献 33被引用数 33

ひとこと要約

本稿では、語彙的意味を保持しつつ特定のベクトル次元に性別情報を隔離することで、性別中立な単語埋め込みを学習する新規手法GN-GloVeを提案する。トレーニング中に性別中立語と埋め込みを同時に学習することで、外部分類器に起因する誤差伝搬を回避し、下流のNLPタスクにおける性別バイアスを低減しつつ、語の類似度性能を損なわずに済ます。

ABSTRACT

Word embedding models have become a fundamental component in a wide range of Natural Language Processing (NLP) applications. However, embeddings trained on human-generated corpora have been demonstrated to inherit strong gender stereotypes that reflect social constructs. To address this concern, in this paper, we propose a novel training procedure for learning gender-neutral word embeddings. Our approach aims to preserve gender information in certain dimensions of word vectors while compelling other dimensions to be free of gender influence. Based on the proposed method, we generate a Gender-Neutral variant of GloVe (GN-GloVe). Quantitative and qualitative experiments demonstrate that GN-GloVe successfully isolates gender information without sacrificing the functionality of the embedding model.

研究の動機と目的

• 人間が生成したコーパスに反映された社会的ステレオタイプから生じる事前学習済み単語埋め込みにおける性別バイアスに対処すること。
• 後処理における性別中立語同定に用いられる外部分類器に起因する誤差伝搬を排除すること。
• 保護された次元を除く次元における性別的影響を中立化しつつ、単語埋め込みの意味的機能を維持すること。
• 性別を超えた他の保護属性に対しても一般化可能な手法を構築すること。

提案手法

• 外部分類器に依存しない、単語埋め込みと性別中立語の同定を同時に学習する共同トレーニング手順を導入する。
• 性別関連情報が特定の指定された次元に制限され、容易に削除または分離可能になるようにする。
• 非保護次元における性別的影響をペナルティとする正則化項を導入し、GloVeの目的関数を変更する。
• 「mother」や「waitress」などの性別定義語（例）をシード語として用い、性別部分空間を定義する。
• 非性別次元にL1およびL2正則化を適用し、中立性を強化する。GN-GloVe-L1およびGN-GloVe-L2の2つのバージョンを提案する。
• エンドツーエンドでモデルをトレーニングすることで、最適化プロセス中に性別中立語が暗黙的に同定され、後処理による同定を回避する。

実験結果

リサーチクエスチョン

• RQ1 保護されていない次元における性別バイアスを除去しつつ、意味的意味を保持する単語埋め込みを学習可能か？
• RQ2 性別情報を特定のベクトル次元に集中させることで、下流NLPタスクにおける解釈可能性とバイアス低減が向上するか？
• RQ3 性別中立語同定と埋め込み学習を共同で学習することで、外部分類器に起因する誤差伝搬を排除できるか？
• RQ4 GN-GloVeは、ベースラインおよび後処理モデルと比較して、語の類似度および類推性能をどの程度維持できるか？
• RQ5 GN-GloVeはコアファレンス解決システムにおける性別バイアスをどの程度低減するか？

主な発見

• OntoNotes 5.0コアファレンス解決ベンチマークにおいて、GN-GloVeはGloVeおよびHard-GloVeと同等の性能を達成し、F1スコアは66.2を記録した。
• WinoBiasデータセットにおいて、GN-GloVeはプロステレオタイプとアンチステレオタイプのサブセット間のF1スコア差を30.2（GloVe）から20.5に著しく低減した。
• GN-GloVe(𝑤(𝑎))—非性別次元のみを用いたバージョン—ではバイアス差が16.1にまで低下し、コアファレンス解決における性別バイアスがさらに低減された。
• 語の類似度タスクでは、GN-GloVeは複数のデータセットで72.2から76.4のスピアマン相関スコアを達成し、高い性能を維持した。
• 性別関係類推タスクでは、GN-GloVeは68.9～68.8％の正確度を達成し、GloVeの70.8％と比較してわずかに低下したが、意味的接近度の劣化は最小限に抑えられた。
• 本手法は指定された次元に性別情報を明確に隔離でき、容易に削除可能でありながら、モデルの機能的有用性を保持した。