[論文レビュー] Measuring Social Bias in Knowledge Graph Embeddings

Joseph B. Fisher, Dave Palfrey+2 more|arXiv (Cornell University)|Dec 5, 2019

Misinformation and Its Impacts参考文献 24被引用数 10

ひとこと要約

本論文は、知識グラフ埋め込みにおける社会的バイアスに関する最初の研究を提示し、職業と性別、人種、国籍との間の埋め込み類似度を比較することでバイアスを測定する新しい指標を提案する。WikidataおよびFreebaseからの埋め込みが、男性が銀行業と強く関連づけられ、女性が家庭内労働と強く関連づけられるといった有害なステレオタイプを含んでいることを示しており、知識グラフ埋め込みを用いた下流のNLPアプリケーションにおけるバイアス低減の必要性を浮き彫りにしている。

ABSTRACT

It has recently been shown that word embeddings encode social biases, with a harmful impact on downstream tasks. However, to this point there has been no similar work done in the field of graph embeddings. We present the first study on social bias in knowledge graph embeddings, and propose a new metric suitable for measuring such bias. We conduct experiments on Wikidata and Freebase, and show that, as with word embeddings, harmful social biases related to professions are encoded in the embeddings with respect to gender, religion, ethnicity and nationality. For example, graph embeddings encode the information that men are more likely to be bankers, and women more likely to be homekeepers. As graph embeddings become increasingly utilized, we suggest that it is important the existence of such biases are understood and steps taken to mitigate their impact.

研究の動機と目的

• 知識グラフ埋め込みが単語埋め込みと同様に社会的バイアスをエンコードするかどうかを調査すること。
• 従来の単語埋め込みバイアス指標（例：WEAT）を知識グラフ埋め込みに適用した場合の限界を特定すること。
• 埋め込みの微調整と類似度比較を活用することで、知識グラフ埋め込みにおけるバイアスを測定する新しい、実用的な手法を開発すること。
• 現実世界の知識グラフにおける偏り（例：男性の銀行家が多い）が、埋め込みにステレオタイプとして組み込まれることを実証的に示すこと。
• こうしたバイアスが下流のNLPタスクにおいても悪影響を及える可能性を啓発し、デバイアス化手法の導入を提言すること。

提案手法

• 職業の埋め込みと性別・文化的属性の埋め込みとの平均類似度を比較することで、バイアス測定フレームワークを提案する。
• エンティティの埋め込みを感受性のある属性カテゴリーにあわせるための微調整アプローチを用い、埋め込みの方向性を意味のある形で比較可能にする。
• 職業の埋め込みと特定の文化的グループ（例：男性または女性）の平均埋め込みとのコサイン類似度を計算するスコア関数を定義する。
• WikidataおよびFreebaseで学習されたTransEおよびComplEx埋め込みにこの手法を適用し、200次元のベクトルと負例サンプリングを用いた交差エントロピー損失を用いる。
• 職業と2つの文化的グループ（例：男性対女性）との平均類似度の差をバイアススコアとして計算し、スコアが高いほどバイアスが強いことを示す。
• グループ間のエンティティ数の違いを補正するための正規化指標を用い、スパarsityや不均衡な分布に対しても耐性を持つようにする。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ埋め込みは、単語埋め込みと同様に、性別、人種、民族、国籍に関する社会的バイアスをエンコードしているか？
• RQ2 従来の単語埋め込みバイアス指標（例：WEAT）がなぜ知識グラフ埋め込みに不適切であるのか？
• RQ3 埋め込みの微調整と類似度比較を活用することで、知識グラフ埋め込みにおけるバイアスを効果的に測定できる新しい指標を開発できるか？
• RQ4 現実世界の知識グラフデータにおける不均衡（例：男性専門職が女性より多い）が、どれほど埋め込みのバイアスに影響を及ぼすのか？
• RQ5 異なる埋め込みモデル（例：TransE 対 ComplEx）は、こうしたバイアスをどのように異なる方法でエンコードしているか？

主な発見

• WikidataおよびFreebaseからの知識グラフ埋め込みは、性別、宗教、民族、国籍に関連する有害な社会的バイアスをエンコードしており、特に職業との関連において顕著である。
• 男性は銀行家や探偵といった職業と顕著に強く関連づけられており、女性は家庭内労働者やモデルといった役割と強く関連づけられている。両データセットにおいて、高い正のバイアススコアが観察された。
• Freebaseでは、『assn. football player』という職業の男性バイアススコアが13,321であるのに対し、女性は227であり、顕著な性別格差が埋め込みに組み込まれていることが示された。
• 『修道女』や『グラビアアイドル』といった職業は極端な女性バイアスを示し、それぞれスコアが41および62であった。これはステレオタイプ的な性別役割を反映している。
• 提案された指標は、WEATが適用不可能なような複雑なモデル（例：ComplEx）に対しても、最も性別に偏った職業を効果的に同定できた。
• 本研究は、知識グラフにおける現実世界のデータ不均衡が、直接的にバイアスを含む埋め込みに変換されることを確認した。これにより、公平なNLPシステムを実現するためにはデバイアス化が不可欠であることが明らかになった。