[論文レビュー] Dictionary-based Debiasing of Pre-trained Word Embeddings

Masahiro Kaneko, Danushka Bollegala|arXiv (Cornell University)|Jan 23, 2021

Natural Language Processing Techniques参考文献 61被引用数 5

ひとこと要約

この論文は、事前学習された単語埋め込みからのバイアスを、事前に定義されたバイアス語彙リストや学習データへのアクセスを必要とせずに、辞書ベースの手法によって除去する。意味の保存、辞書定義の整合性、バイアス方向に対する直交性を同時に最適化することで、性別、人種、その他のバイアスを効果的に除去しつつ、ベンチマークタスクにおける意味的品質を維持または向上させる。

ABSTRACT

Word embeddings trained on large corpora have shown to encode high levels of unfair discriminatory gender, racial, religious and ethnic biases. In contrast, human-written dictionaries describe the meanings of words in a concise, objective and an unbiased manner. We propose a method for debiasing pre-trained word embeddings using dictionaries, without requiring access to the original training resources or any knowledge regarding the word embedding algorithms used. Unlike prior work, our proposed method does not require the types of biases to be pre-defined in the form of word lists, and learns the constraints that must be satisfied by unbiased word embeddings automatically from dictionary definitions of the words. Specifically, we learn an encoder to generate a debiased version of an input word embedding such that it (a) retains the semantics of the pre-trained word embeddings, (b) agrees with the unbiased definition of the word according to the dictionary, and (c) remains orthogonal to the vector space spanned by any biased basis vectors in the pre-trained word embedding space. Experimental results on standard benchmark datasets show that the proposed method can accurately remove unfair biases encoded in pre-trained word embeddings, while preserving useful semantics.

研究の動機と目的

• 事前学習された単語埋め込みから、性別、人種、民族的バイアスなどの不公平なバイアスを、事前に定義されたバイアス語彙リストに依存せずに除去する課題に対処すること。
• 人間が作成した辞書を、意味の偏りのない客観的な情報源として活用し、バイアス除去プロセスをガイドすること。
• バイアス除去の過程で、事前学習された埋め込みに含まれる意味情報を保持することにより、下流のNLPタスクにおける有用性を確保すること。
• 語彙空間ではなく埋め込み空間で作業することで、辞書に存在しない語に対しても一般化できる手法を開発すること。
• 元の学習コーパスへのアクセスや、単語埋め込みの学習アルゴリズムの詳細を知る必要を排除すること。

提案手法

• 入力単語埋め込みをデバイアス化された表現にマップするエンドツーエンドで学習可能なエンコーダ・デコーダフレームワークを採用する。
• 意味の保存は、デバイアス化された出力を元の埋め込みに再構築するデコーダによって強制される。
• 辞書整合性は、2番目のデコーダを訓練して、デバイアス化された埋め込みを語の辞書的定義のベクトル表現と一致させることで達成される。
• バイアス方向に対する直交性は、事前学習された埋め込み空間内のバイアス方向に一致する成分を除去するパラメータフリーの射影によって強制される。
• 意味の保存、辞書整合性、バイアス直交性という3つの目的は、マルチタスク学習の目的関数を用いて同時に最適化される。
• この手法はモデルに依存せず、元の学習データや事前学習アルゴリズムの詳細へのアクセスを必要としない。

実験結果

リサーチクエスチョン

• RQ1 事前に定義されたバイアス語彙リストを必要とせず、辞書ベースのアプローチが複数のタイプのバイアスを効果的に事前学習された単語埋め込みから除去できるか。
• RQ2 提案手法が、元の埋め込みと比較して、デバイアス化された埋め込みにおける意味情報の保持度合いはどの程度か。
• RQ3 語彙空間ではなく埋め込み空間で作業するという点を踏まえ、辞書に存在しない語に対しても、この手法はどの程度一般化できるか。
• RQ4 バイアス方向のための手動で整備された語彙リストに依存する従来のバイアス除去手法よりも、この手法が優れた性能を示せるか。
• RQ5 意味の偏りのない情報源としての辞書的定義を用いることで、下流の意味的タスクにおける性能が向上するか。

主な発見

• WEATやその他のバイアス評価ベンチマークで測定したところ、提案手法は事前学習された単語埋め込みにおける性別、人種、年齢関連バイアスを顕著に低減している。
• 意味的類似度タスクでは、デバイアス化された埋め込みが元の埋め込みと同等またはわずかに優れた性能を示しており、スピアマン順位相関係数が元の埋め込みと同等またはそれを上回っている。
• 語の類推タスクでは、性能が保持または向上しており、Word2VecのWSデータセットでは改善が観察され、GloVe埋め込みでは全データセットで改善が得られている。
• 可視化結果から、デバイアス化された埋め込みが性別、人種、年齢のベクトル空間において原点の周囲に集中していることが示され、方向性バイアスが低減していることがわかる。
• 語彙空間ではなく埋め込み空間で作業することで、語彙にない語に対しても、辞書との語の一致に依存せずに、良好な一般化性能を示している。
• 定義に一部のバイアス（例：「看護師」と「家庭教師」に性別言及がある）が残っているにもかかわらず、全体として強いバイアス除去性能を達成している。