[論文レビュー] Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings

Tolga Bolukbasi, Kai-Wei Chang+3 more|arXiv (Cornell University)|Jul 21, 2016

Hate Speech and Cyberbullying Detection参考文献 33被引用数 1,357

ひとこと要約

この論文は、単語埋め込みがステレオタイプに沿った強い性別バイアスを示すことを示し、埋め込みをデバイズする方法を提示し、クラスタリングやアナロジー性能などの有用性を維持しつつバイアスを低減する。

ABSTRACT

The blind application of machine learning runs the risk of amplifying biases present in data. Such a danger is facing us with word embedding, a popular framework to represent text data as vectors which has been used in many machine learning and natural language processing tasks. We show that even word embeddings trained on Google News articles exhibit female/male gender stereotypes to a disturbing extent. This raises concerns because their widespread use, as we describe, often tends to amplify these biases. Geometrically, gender bias is first shown to be captured by a direction in the word embedding. Second, gender neutral words are shown to be linearly separable from gender definition words in the word embedding. Using these properties, we provide a methodology for modifying an embedding to remove gender stereotypes, such as the association between between the words receptionist and female, while maintaining desired associations such as between the words queen and female. We define metrics to quantify both direct and indirect gender biases in embeddings, and develop algorithms to "debias" the embedding. Using crowd-worker evaluation as well as standard benchmarks, we empirically demonstrate that our algorithms significantly reduce gender bias in embeddings while preserving the its useful properties such as the ability to cluster related concepts and to solve analogy tasks. The resulting embeddings can be used in applications without amplifying gender bias.

研究の動機と目的

• 既存の単語埋め込みにおける直接的および間接的な性別バイアスを定量化する。
• 性別関連の分散の大半を捉える性別サブスペースを同定する。
• 定義的な性別関連の結びつきを保ちつつ、性別中立語のバイアスを低減するデバイズ手法を開発する。
• デバイズがクラスタリングやアナロジー解決といった有用な特性を保持するかを評価し、人間のステレオタイプとの整合性を評価する。

提案手法

• 性別固有語のペア（例：she-he, woman-man）から性別サブスペースを算出・整合させる。
• 性別中立語におけるコサイン類似度を性別方向への関数として直接バイアスとして定義する。
• 単語ベクトルを性別成分と非性別成分に分解して間接的なバイアスを定量化する。
• 意味のある関連性を保ちながら、性別中立語のバイアスを低減するデバイズアルゴリズムを提案する。
• クラウドソーシング評価やクラスタリング・アナロジー解決といった標準的な埋め込みタスクを用いてバイアス低減を評価する。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みは、直接的にも間接的にもどの程度性別バイアスを符号化しているのか？
• RQ2 埋め込み全体で頑健に識別できる性別サブスペースを作成できるか、またそれをバイアス測定にどう用いるか？
• RQ3 有用な意味構造とアナロジー性能を維持しつつ、性別バイアスを低減するデバイズは可能か？

主な発見

• Google Newsを含む他ソースの単語埋め込みは、職業やアナロジーにおいて性別ステレオタイプを示しており（例：女性/男性の役割に沿った関連付け）。
• 性別サブスペースを同定することができ、性別関連の語の差異のばらつきの大半を捉える。
• 直接的および間接的な性別バイアスを定量化し、埋め込みのクラスタリングやアナロジータスクといった主要なユーティリティを破壊せずにデバイズの対象とできる。
• デバイ싱手法は性別バイアスを大幅に低減しつつ、埋め込みの有用な特性を保持することで、バイアスを増幅させにくい応用を可能にする。