[論文レビュー] Debiasing Word Embeddings with Nonlinear Geometry

Cheng Lu, Nayoung Kim+1 more|arXiv (Cornell University)|Aug 29, 2022

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

本稿では、ジョイントバイアスおよびインターセクショナルバイアス（例：人種および性別に関連するもの）を、追加の人的ラベル付き語彙セットを必要とせずに、個々のバイアス部分空間の交差を活用することで、非線形幾何学に基づく方法であるJoSECを提案する。この手法は、意味的有用性を維持したまま内部バイアスを効果的に低減する。ベンチマークデータセットを用いた検証によりその有効性が裏付けられている。

ABSTRACT

Debiasing word embeddings has been largely limited to individual and independent social categories. However, real-world corpora typically present multiple social categories that possibly correlate or intersect with each other. For instance, "hair weaves" is stereotypically associated with African American females, but neither African American nor females alone. Therefore, this work studies biases associated with multiple social categories: joint biases induced by the union of different categories and intersectional biases that do not overlap with the biases of the constituent categories. We first empirically observe that individual biases intersect non-trivially (i.e., over a one-dimensional subspace). Drawing from the intersectional theory in social science and the linguistic theory, we then construct an intersectional subspace to debias for multiple social categories using the nonlinear geometry of individual biases. Empirical evaluations corroborate the efficacy of our approach. Data and implementation code can be downloaded at https://github.com/GitHubLuCheng/Implementation-of-JoSEC-COLING-22.

研究の動機と目的

• 既存のデバイアス化手法が社会的カテゴリーを個別に扱うという限界に対処すること、特に複数のカテゴリーが重複または相関する場合に有効であるようにすること。
• 2つの複雑なバイアス、すなわちジョイントバイアス（カテゴリーの結合によるもの）とインターセクショナルバイアス（個々のカテゴリーのバイアスと重複しないもの）を研究・緩和すること。
• 交差カテゴリー群の事前定義語彙リストに依存せずに、複数のカテゴリーのバイアス部分空間を構築する手法を開発すること。
• 複数の社会的カテゴリーにわたる内部バイアスを低減する一方で、語の分散表現の意味的有用性を維持すること。
• インターセクショナリティ理論および言語学的理論に整合する理論的裏付けに基づいた、幾何学的アプローチを提供すること。

提案手法

• 本手法は、個々のバイアス部分空間（例：性別や人種）が非自明に交差することを経験的に観察し、主に1次元部分空間に沿って交差していることを示している。
• インターセクショナルバイアス部分空間を、インターセクショナリティ理論およびフィルスの言語学的理論を根拠に、個々のバイアス部分空間の非線形幾何的交差として定式化している。
• JoSECは、バイアス方向間の複雑な非線形相関をモデル化するために非線形多様体学習を用い、バイアスを増幅する可能性がある線形結合を回避している。
• 交差カテゴリー群の追加語彙リストを必要とせず、構成カテゴリ（例：性別語や人種語）の定義語セットのみを活用している。
• 学習されたインターセクショナル部分空間に対して、修正されたハードデバイアス処理を適用し、語の分散表現におけるバイアスを中立化している。
• 内部バイアス指標および下流NLPタスクを用いて評価することで、バイアス低減と意味的有用性の維持の両面を検証している。

実験結果

リサーチクエスチョン

• RQ1 複数の社会的カテゴリー（例：性別と人種）の個々のバイアス部分空間は、分散空間内でどのように交差するか？
• RQ2 線形結合による個々のバイアス部分空間の組み合わせよりも、非線形幾何的アプローチがジョイントバイアスおよびインターセクショナルバイアスをよりよく捉えることができるか？
• RQ3 インターセクショナル部分空間を用いたデバイアス処理は、NLPタスク全体にわたり語の分散表現の意味的有用性を維持するか？
• RQ4 毒性分類などの下流タスクにおける外部バイアス低減と、内部バイアス低減の間に信頼性の高い相関関係があるか？
• RQ5 JoSECは、交差アイデンティティのための人的ラベル付き語彙リストを一切必要とせずにバイアスを低減できるか？

主な発見

• 異なる社会的カテゴリー（例：性別と人種）の個々のバイアス部分空間は、非自明に交差しており、主に1次元部分空間に沿って交差しており、線形独立性の仮定に反する。
• JoSECは、交差カテゴリー群の追加的人的ラベル語彙セットを必要とせずに、ジョイントバイアスおよびインターセクショナルバイアスの両方の内部バイアスを効果的に低減した。
• NER、POSタギング、POSチャンキングタスクにおける性能低下が統計的に有意でないことを示しており、JoSECによるデバイアス処理は意味的有用性を維持している。
• 内部バイアス低減と下流タスクにおける外部バイアス（例：毒性分類）の低減との間に有意な相関関係が認められず、内部指標が下流の公平性を信頼性高く予測できない可能性を示唆している。
• 実験結果により、JoSECは線形結合による部分空間の組み合わせを上回り、非線形相関のためバイアスを増幅する可能性がある線形手法に比べて優れていることが確認された。
• 本手法は実用的で汎用性が高く、構成カテゴリの標準的定義語セットのみに依存しているため、実世界への展開に適している。