[論文レビュー] What's in a Name? Reducing Bias in Bios without Access to Protected Attributes

Alexey Romanov, Maria De‐Arteaga+8 more|arXiv (Cornell University)|Apr 10, 2019

Ethics in Clinical Research参考文献 21被引用数 36

ひとこと要約

本論文は訓練時ペナルティを2つ提案する（CluCLとCoCL）; これにより分類器が名前埋め込みと職業予測を結びつけることを抑制し、保護属性をデプロイ時に使用せずに人種と性別のバイアスを低減します。

ABSTRACT

There is a growing body of work that proposes methods for mitigating bias in machine learning systems. These methods typically rely on access to protected attributes such as race, gender, or age. However, this raises two significant challenges: (1) protected attributes may not be available or it may not be legal to use them, and (2) it is often desirable to simultaneously consider multiple protected attributes, as well as their intersections. In the context of mitigating bias in occupation classification, we propose a method for discouraging correlation between the predicted probability of an individual's true occupation and a word embedding of their name. This method leverages the societal biases that are encoded in word embeddings, eliminating the need for access to protected attributes. Crucially, it only requires access to individuals' names at training time and not at deployment time. We evaluate two variations of our proposed method using a large-scale dataset of online biographies. We find that both variations simultaneously reduce race and gender biases, with almost no reduction in the classifier's overall true positive rate.

研究の動機と目的

• 保護属性なしで職業予測のバイアスを低減する動機づけ。
• 名前埋め込みに埋め込まれた社会的バイアスを学習制約として活用。
• 任意の分類器と互換性のある2つの損失ベースペナルティ（CluCLとCoCL）を導入。
• 大規模なバイオデータセットでTPRの損失を最小限に抑えつつバイアスを示す。

提案手法

• 名前を単語埋め込みで表現し、クラスタ間の予測職業確率を揃えるためにk-meansクラスタリング（CluCL）を適用。
• 予測職業確率と名前埋め込み間の共分散を最小化する共分散制約損失（CoCL）を定義。
• L_total = L + lambda * L_CL のように各損失を標準損失と組み合わせ、lambda がペナルティ強度を制御。
• クラスタ間の格差や共分散を計算するために各クラス（職業）ごとに計算を適用し、クラス間で平均。
• 重みの調整の解釈性のために単一層ニューラルネット分類器を使用。
• クラス不均衡に対して加重クロスエントロピーを用いて評価し、race/gender間のバランスされたTPRとギャップを報告。

実験結果

リサーチクエスチョン

• RQ1 名前埋め込みは職業予測に伝播する人種と性別のバイアスを暗黙的に捉えるか。
• RQ2 予測と名前埋め込み間の相関を制約することで保護属性なしにバイアスを低減できるか。
• RQ3 CluCLとCoCLは全体的な分類器性能に大きな影響を与えずに人種と性別のバイアスを低減できるか。
• RQ4 オリジナルのBiosとスクラブドBiosなど異なる名前利用データセットで、また人工的な名前実験で方法はどう機能するか。
• RQ5 訓練時だけ名前ベースの代理を用いて複数のバイアス（交差バイアスを含む）を緩和することは可能か。

主な発見

Method	λ	Balanced TPR	Gap_g_RMS	Gap_r_RMS	Gap_g_max	Gap_r_max
None	0	0.788	0.173	0.051	0.511	0.121
CluCL	1	0.784	0.168	0.048	0.494	0.120
CluCL	2	0.781	0.165	0.047	0.486	0.114
CoCL	1	0.785	0.168	0.048	0.507	0.109
CoCL	2	0.779	0.169	0.048	0.512	0.116
Method	λ	Balanced TPR	Gap_g_RMS	Gap_r_RMS	Gap_g_max	Gap_r_max
None	0	0.785	0.111	0.049	0.385	0.123
CluCL	1	0.782	0.107	0.048	0.383	0.112
CluCL	2	0.778	0.112	0.046	0.395	0.109
CoCL	1	0.780	0.109	0.047	0.388	0.117
CoCL	2	0.775	0.108	0.046	0.387	0.109
Method	λ	Balanced TPR	Gap_g_RMS	Gap_r_RMS	Gap_g_max	Gap_r_max
None	0	0.0?	0.0?	0.049	0.385	0.123
CluCL	1	0.?	0.109	0.048	0.383	0.112
CluCL	2	0.?	0.112	0.046	0.395	0.107
CoCL	1	0.?	0.109	0.047	0.388	0.117
CoCL	2	0.?	0.108	0.046	0.387	0.109

• CluCLとCoCLの両方が職業予測における人種と性別のバイアスを低減。
• Adultデータセットでは、CoCL λ=2 により RMS 人種ギャップが0.12から0.08へ、RMS 性別ギャップが0.299から0.163へ低下し、 balanced TPR は約0.5%低下。
• Adultデータセットでは、CluCL λ=2 により RMS 人種ギャップが0.085、RMS 性別ギャップが0.165へ低下し、 balanced TPR は約1.0%低下。
• Biosデータセットでは、CoCL λ=2 により RMS 人種ギャップが0.046、RMS 性別ギャップが0.109（原データ）へ低下、balanced TPR は設定に応じて約0.0〜0.5%変化。
• Biosのスクラブドデータセットでは、名前/代名詞の除去により両手法ともバイアスを減らす効果は小さくなる。
• λを大きくすると一般にバイアスは低減するが balanced TPR へ影響もある。λが約6程度の範囲で、TPRの損失が控えめな範囲で著しいバイアス低減を達成。