[論文レビュー] Semantics derived automatically from language corpora necessarily contain human biases.

Aylin Caliskan Islam, Joanna J. Bryson+1 more|arXiv (Cornell University)|Aug 25, 2016

Psychology of Moral and Emotional Judgment参考文献 30被引用数 85

ひとこと要約

この論文は、GloVeなどの単語埋め込みが、膨大なウェブテキストコーパス上で学習されることで、言語そのものに埋め込まれた人間らしい意味的バイアス（人種、性別、社会的役割など）を自動的に学習・再現することを示している。WEATおよびWEFATという新しい評価ツールを用いて、統計的機械学習モデルが設計の結果ではなく、偏った言語にさらされることによって社会的偏見を内包することを明らかにした。言語コーパスには歴史的・文化的バイアスが埋め込まれており、それがAIシステムによって捉えらえることになる。

ABSTRACT

Artificial intelligence and machine learning are in a period of astounding growth. However, there are concerns that these technologies may be used, either with or without intention, to perpetuate the prejudice and unfairness that unfortunately characterizes many human institutions. Here we show for the first time that human-like semantic biases result from the application of standard machine learning to ordinary language---the same sort of language humans are exposed to every day. We replicate a spectrum of standard human biases as exposed by the Implicit Association Test and other well-known psychological studies. We replicate these using a widely used, purely statistical machine-learning model---namely, the GloVe word embedding---trained on a corpus of text from the Web. Our results indicate that language itself contains recoverable and accurate imprints of our historic biases, whether these are morally neutral as towards insects or flowers, problematic as towards race or gender, or even simply veridical, reflecting the status quo for the distribution of gender with respect to careers or first names. These regularities are captured by machine learning along with the rest of semantics. In addition to our empirical findings concerning language, we also contribute new methods for evaluating bias in text, the Word Embedding Association Test (WEAT) and the Word Embedding Factual Association Test (WEFAT). Our results have implications not only for AI and machine learning, but also for the fields of psychology, sociology, and human ethics, since they raise the possibility that mere exposure to everyday language can account for the biases we replicate here.

研究の動機と目的

• 日常的な言語で学習された機械学習モデルが、人間らしい意味的バイアスを引き継いでいるかどうかを調査すること。
• GloVeのような広く使われているNLPモデルが、Implicit Association Testのような研究で知られている心理的バイアスを反映しているかどうかを検討すること。
• 単語埋め込みにおけるバイアスを検出するための新しい評価手法を開発すること。
• 言語コーパスに内在するバイアスが、AIモデルにおける偏った意味的表現を生み出すのに十分であることを示すこと。

提案手法

• ウェブテキストコーパスの大規模なスケールで学習されたGloVe単語埋め込みモデルを訓練し、単語の密なベクトル表現を学習すること。
• 語のカテゴリー（例：人種、性別）と属性（例：好ましい／好ましくない）の間の関連性を測定するために、語の埋め込み連関テスト（WEAT）を適用すること。
• 語と事実上の社会的分布（例：性別と職業、名前と性別）との関連性を評価するために、語の埋め込み事実的連関テスト（WEFAT）を用いること。
• 統計的関連性に基づいて、Implicit Association Testから知られている既知の心理的バイアスを語の埋め込み内で再現すること。
• モデルが導き出した関連性と人間が観察したバイアスを比較し、意味的バイアスの再現を検証すること。
• 異なる単語埋め込み次元および意味的カテゴリーにおいて、バイアスパターンの整合性と正確性を分析すること。

実験結果

リサーチクエスチョン

• RQ1 ウェブテキストで学習された単語埋め込みが、心理学的研究から知られている人間の意味的バイアスをどの程度再現するか。
• RQ2 GloVeのような標準的なNLPモデルが、言語コーパスに存在する社会的バイアスを自動的に学習・反映できるか。
• RQ3 単語埋め込みにおける性別と職業の関連性は、現実の人口統計的分布とどのように比較できるか。
• RQ4 WEATおよびWEFATフレームワークは、単語埋め込みにおけるバイアスを信頼性高く検出・定量できるか。
• RQ5 明示的な指示なしに自然言語にさらされることだけでも、機械学習モデルが社会的バイアスを内面化するのか。

主な発見

• ウェブテキストで学習された単語埋め込みは、WEATで測定された結果、人種、性別、社会的役割に関する広範な人間らしいバイアスを再現している。
• 本研究では、性別と職業の関連性（例：'nurse' は 'female' と関連づけられ、'engineer' は 'male' と関連づけられる）がGloVeモデルによって正確に捉えられていることが確認された。
• WEFATテストにより、単語埋め込みが、性別付きの名前や職業の性別比といった事実上の人口統計的分布を高い正確性で反映していることが明らかになった。
• バイアスの再現はモデル設計の結果ではなく、学習言語データに存在する統計的規則性に起因している。
• 「花」と「好ましい」といった道徳的に中立的な関連性ですら、埋め込みに埋め込まれており、バイアスが言語ベースのAIにおけるシステム的特徴であることが示唆された。
• 研究結果から、言語そのものが、機械学習システムに社会的バイアスを埋め込む主な要因であると考えられる。