[論文レビュー] Bias In, Bias Out? Evaluating the Folk Wisdom

Ashesh Rambachan, Jonathan Roth|arXiv (Cornell University)|Sep 18, 2019

Anthropology: Ethics, History, Culture参考文献 28被引用数 22

ひとこと要約

この論文は、選択的ラベリングと観察されない変数が存在する設定において、『バイアスが入ればバイアスが出る』という一般的な常識に挑戦し、アルゴリズムの意思決定ルールがバイアスを逆転させることを示している。警察官の個人に対する人種的バイアスが強いほど、結果として marginalized group に対してより好意的なアルゴリズムが生まれる。このバイアス逆転現象は、極端なバイアスが訓練データにおけるグループの過剰サンプリングを引き起こし、予測における選択バイアスを低減するため生じる。

ABSTRACT

We evaluate the folk wisdom that algorithmic decision rules trained on data produced by biased human decision-makers necessarily reflect this bias. We consider a setting where training labels are only generated if a biased decision-maker takes a particular action, and so "biased" training data arise due to discriminatory selection into the training data. In our baseline model, the more biased the decision-maker is against a group, the more the algorithmic decision rule favors that group. We refer to this phenomenon as "bias reversal." We then clarify the conditions that give rise to bias reversal. Whether a prediction algorithm reverses or inherits bias depends critically on how the decision-maker affects the training data as well as the label used in training. We illustrate our main theoretical results in a simulation study applied to the New York City Stop, Question and Frisk dataset.

研究の動機と目的

• アルゴリズムの意思決定ルールが、人間の意思決定者からのバイアスを必然的に引き継ぐかどうかを評価すること。
• バイアスのある訓練データがバイアスの逆転を引き起こすのではなく、バイアスの拡散を引き起こす条件を調査すること。
• 人間のバイアスの形、特にサンプル選択への影響とラベル測定への影響が、アルゴリズムの公平性に与える影響を明確にすること。
• グループの所属（例：人種）をアルゴリズムが使用することを許容することで、特定の状況下で差別を増大させるのではなく、減少させられることを示すこと。

提案手法

• 著者らは、三つの主要な要素を持つ理論的モデルを構築した：選択的ラベリング（意思決定者が行動しない限りラベルが観測されない）、好みに基づく差別（意思決定者が特定のグループを好む・嫌う）、観察されない変数（ラベルを予測するが訓練データに含まれない特徴）。
• 人間のバイアスが増加することで、劣位グループに対するアルゴリズムの好意的傾向が生じる条件を導出。著者らはこの現象を「バイアス逆転」と呼ぶ。
• ニューヨーク市ストップ・クエスチョン・アンド・フラスクリング（SQF）データセットを用い、ブラックとホワイトの個人に対する検挙閾値を変化させることで、異なるレベルの人種的バイアスを誘発する合成訓練データをシミュレートした。
• 合成的に選択されたデータ上でロジスティック回帰を用いて、違法所持の存在確率を推定する予測関数を推定し、選択プロセスにおける人種的バイアスの程度を変化させた。
• バイアスの異なるレベルにおける予測結果を比較し、バイアスが増加するにつれて、予測リスク上位グループに含まれるブラックの割合がどのように変化するかを測定した。
• 理論的結果を検証するため、違法所持の存在と合成された検挙フラグの両方の予測関数が、バイアスの増加にどのように反応するかを分析した。

実験結果

リサーチクエスチョン

• RQ1 人間によるバイアスのある訓練データへの選択が、バイアスの拡散ではなく、劣位グループに対するアルゴリズムの好意的傾向を生じる条件は何か？
• RQ2 訓練データに存在しないが選択に影響を与える観察されない変数の存在が、アルゴリズムの公平性に与える影響は何か？
• RQ3 人間の意思決定者のバイアスがラベルの測定ではなくサンプル選択に影響を与える場合、アルゴリズムの予測にはどのような影響が生じるか？
• RQ4 アルゴリズムがグループの所属（例：人種）を用いることを許容することで、予測タスクにおいて差別を増大させるのではなく、減少させられるか？
• RQ5 ラベルの選択（例：関心の対象の結果 vs. 人間の意思決定）が、人間のバイアスとアルゴリズムのバイアスの関係にどのように影響を与えるか？

主な発見

• 警察官によるアフリカ系アメリカ人の人種的バイアスが高まる（検挙の閾値が高くなる）につれて、アルゴリズムが高リスクと予測するアフリカ系アメリカ人の数が減少し、バイアス逆転が確認された。
• 警察官が極端にバイアスを持っており、リスクに関係なくすべてのアフリカ系アメリカ人を検挙する場合、訓練データではアフリカ系アメリカ人が違法所持を所持する可能性が低いと学習され、結果としてアルゴリズムの予測がより好意的になる。
• 違法所持の確率を推定する予測関数に関しては、バイアスが増加するにつれて、アフリカ系アメリカ人のリスクスコアが低下し、「バイアスが入れば好意的が出る」という事実が確認された。
• 一方、合成された検挙意思決定自体をモデル化する予測関数に関しては、バイアスが増加することでアフリカ系アメリカ人の検挙可能性の予測値が上昇し、標準的な『バイアスが入ればバイアスが出る』の直感と一致した。
• シミュレーションでは、アフリカ系アメリカ人の検挙率が80％から95％に上昇した場合、予測リスク上位50％に含まれるアフリカ系アメリカ人の割合が顕著に低下し、逆転効果が明確に示された。
• アルゴリズムが観測された検挙のみで学習された場合でも、この結果は成り立つことが示され、選択的ラベリングと観察されない異質性の下で、バイアス逆転はモデルの強固な特徴であることが確認された。