[論文レビュー] Black is to Criminal as Caucasian is to Police: Detecting and Removing Multiclass Bias in Word Embeddings

Thomas Manzini, Yao Chong Lim+2 more|arXiv (Cornell University)|Apr 3, 2019

Text Readability and Simplification被引用数 4

ひとこと要約

この論文は、ボルクバシら（2016）の二値性別へのバイアスデバイアス化を、人種や宗教へのマルチクラス一般化として提案する。新しい評価指標（MACスコア）を導入し、マルチクラスデバイアス化が下流のNLPタスク（NERやPOSチャンキング）における有用性を保ちながら、顕著にバイアスを低減することを示している。

ABSTRACT

Online texts -- across genres, registers, domains, and styles -- are riddled with human stereotypes, expressed in overt or subtle ways. Word embeddings, trained on these texts, perpetuate and amplify these stereotypes, and propagate biases to machine learning models that use word embeddings as features. In this work, we propose a method to debias word embeddings in multiclass settings such as race and religion, extending the work of (Bolukbasi et al., 2016) from the binary setting, such as binary gender. Next, we propose a novel methodology for the evaluation of multiclass debiasing. We demonstrate that our multiclass debiasing is robust and maintains the efficacy in standard NLP tasks.

研究の動機と目的

• 性別のような二値のデモグラフィック属性のみを扱う既存のデバイアス化手法の制限を解決すること。
• 現実のテキストコーパスで学習した場合に生じる、人種や宗教を含むマルチクラスのバイアスを検出および緩和すること。
• 複数のデモグラフィッククラスにわたるバイアス低減の測定に適した堅牢な評価フレームワークを開発すること。
• デバイアス化後に埋め込みの意味的有用性を維持し、標準的なNLPタスクと互換性を持たせること。
• マルチクラスデバイアス化が多様なNLPアプリケーションにおいて統計的に有意かつ有効であることを実証すること。

提案手法

• ボルクバシら（2016）の二値性別デバイアス化フレームワークを、人種や宗教などのマルチクラス設定に一般化すること。
• 異なるデモグラフィックカテゴリ（例：人種的または宗教的ステレオタイプ）を表す語の定義集合を用いて、マルチクラスバイアス部分空間を特定すること。
• 中立語からのバイアス成分を射影して除去するハードデバイアス化を適用し、等価セットに属する語の埋め込みを等しくすること。
• 複数のクラスにわたるバイアス低減を評価するための新しい指標、マルチクラス平均コサイン（MAC）スコアを使用すること。
• Reddit L2コーパス上でword2vec埋め込みを学習し、社会科学およびNLPバイアス研究からの語彙を用いてデバイアス化を実行すること。
• POSタギング、NER、POSチャンキングの下流タスクでのパフォーマンスを評価し、有用性の維持を確認すること。

実験結果

リサーチクエスチョン

• RQ1 性別のような二値属性に限定されたデバイアス化フレームワークを、人種や宗教のようなマルチクラスデモグラフィック属性に効果的に拡張できるか？
• RQ2 二つではなく複数のデモグラフィッククラスにわたる語の埋め込みにおけるバイアスを、どのように測定・評価できるか？
• RQ3 標準的なNLPタスクのパフォーマンスを劣化させることなく、『黒人→犯罪者』や『ムスリム→戦争地域』のようなステレオタイプ的類似関係を低減できるか？
• RQ4 バイアス部分空間は、多様なデモグラフィックカテゴリにわたって一貫したデバイアス化を可能にするのに十分に頑健か？
• RQ5 デバイアス化が、下流のNLPアプリケーションにおける語の埋め込みの意味的有用性をどの程度維持できるか？

主な発見

• 提案されたマルチクラスデバイアス化手法は、MACスコアが1.0に近づき、p値が統計的有意性を示すことで、顕著なバイアス低減が確認された。
• デバイアス化により、『黒人→犯罪者』や『ムスリム→戦争地域』といったステレオタイプ的類似関係が明確に低減され、バイアス緩和が確認された。
• NERおよびPOSチャンキングにおける下流タスクのパフォーマンスは、デバイアス化後、向上した。一方、POSタギングではわずかな低下が見られたが、多くの場合有意ではなかった。
• 標準的なNLPタスクでの劣化が最小限に抑えられ、オフザシェルフの埋め込みと比較しても顕著な劣化がなかったことから、意味的有用性が維持されたことが裏付けられた。
• MACスコアの統計的有意な変化から、バイアス部分空間が一貫したデバイアス化を可能にするのに十分に頑健であることが確認された。
• バイアス成分を除去したにもかかわらず、クラスターレベルのバイアス（例：語の近傍における類似したバイアス）が依然として残っており、成分ベースのデバイアス化の限界が示された。これは、ゴネンとゴールドバーグ（2019）の報告と一致する。