[論文レビュー] Selection Problems in the Presence of Implicit Bias

Jon Kleinberg, Manish Raghavan|arXiv (Cornell University)|Jan 4, 2018

Names, Identity, and Discrimination ResearchSocial Sciences被引用数 21

ひとこと要約

本稿は、採用における暗黙のバイアスが選択意思決定に与える影響を分析する理論的モデルを提案する。特に、少数派グループに属する候補者が少なくとも1名は面接に参加するよう義務づける「ルーニー・ルール」の影響を評価する。バイアスの大きさ、マイノリティの割合、候補者の質の分布といった特定の条件下では、ルーニー・ルールがバイアスの影響を是正することで、多様性と組織の利益の両方を向上させることを示している。

ABSTRACT

Over the past two decades, the notion of implicit bias has come to serve as an important component in our understanding of discrimination in activities such as hiring, promotion, and school admissions. Research on implicit bias posits that when people evaluate others -- for example, in a hiring context -- their unconscious biases about membership in particular groups can have an effect on their decision-making, even when they have no deliberate intention to discriminate against members of these groups. A growing body of experimental work has pointed to the effect that implicit bias can have in producing adverse outcomes. Here we propose a theoretical model for studying the effects of implicit bias on selection decisions, and a way of analyzing possible procedural remedies for implicit bias within this model. A canonical situation represented by our model is a hiring setting: a recruiting committee is trying to choose a set of finalists to interview among the applicants for a job, evaluating these applicants based on their future potential, but their estimates of potential are skewed by implicit bias against members of one group. In this model, we show that measures such as the Rooney Rule, a requirement that at least one of the finalists be chosen from the affected group, can not only improve the representation of this affected group, but also lead to higher payoffs in absolute terms for the organization performing the recruiting. However, identifying the conditions under which such measures can lead to improved payoffs involves subtle trade-offs between the extent of the bias and the underlying distribution of applicant characteristics, leading to novel theoretical questions about order statistics in the presence of probabilistic side information.

研究の動機と目的

• 暗黙のバイアスが採用や類似のプロセスにおける選択意思決定に与える影響を形式化すること。
• ルーニー・ルールのような手続き的対策が、代表性と組織的成果の両方を改善できるかどうかを分析すること。
• バイアスの存在下でも、選ばれた候補者の期待品質が上昇する条件を同定すること。
• バイアスの強さ、マイノリティの割合、候補者の質の分布の間の相互作用が選択結果に与える影響を調査すること。
• 選択プロセスにおける公平性とパフォーマンスの両方を向上させるための理論的条件を導出すること。

提案手法

• 特定のグループに対して暗黙のバイアスを持つ評価者がいる採用シナリオをモデル化し、そのバイアスが候補者の潜在的価値の評価に歪みをもたらすことを想定する。
• 独立同一分布の確率変数から得られる順序統計量を用いて、候補者評価の分布をモデル化し、一方のグループはバイアスの影響を受ける。
• バイアスの大きさ、マイノリティの出現頻度、候補者質の閾値の3つのパラメータを含む形式的条件を導入する。
• 順序統計量の確率的境界（例：Pr[X_{(n-1:n)} ≥ T ∩ Y_{(n-1:n)} ≥ T] ≤ 2nF(T)^{n-1}）を適用し、優れたマイノリティ候補者が見過ごされる可能性を分析する。
• 条件付き期待値分析を用いて、ルーニー・ルール有りと無しの場合の選ばれた候補者の期待品質を比較する。
• 高水準の候補者を対象とした切断分布モデルを用いて、ルーニー・ルール導入による期待品質向上の下限を導出する。

実験結果

リサーチクエスチョン

• RQ1 暗黙のバイアスが存在する状況で、ルーニー・ルールが選ばれた候補者の期待品質を向上させる条件は何か？
• RQ2 バイアスの強さ、マイノリティの割合、候補者質の分布の相互作用が、ルーニー・ルールの有効性にどのように影響するか？
• RQ3 大多数のグループに属する候補者が平均的に優れている場合でも、バイアスに起因する誤りを是正できるため、組織的報酬が上昇する可能性はあるか？
• RQ4 確率的側面情報（例：質の閾値）は、多様性を保証する選択ルールの成功にどのような役割を果たすか？
• RQ5 バイアスの大きさと代表割合において、ルーニー・ルールが有益から有害に転じる明確な閾値は存在するか？

主な発見

• バイアスがマイノリティグループに対して強く、かつ適正な資格を持つマイノリティ候補者が十分に多い場合、ルーニー・ルールは選ばれた候補者の期待品質を向上させることができる。
• バイアスの強さとマイノリティの出現頻度の積が、候補者質の分布に依存する臨界値を超えると、ルーニー・ルールが結果を改善する。
• ルーニー・ルール導入時の候補者品質の期待改善は、F(T) + η の (n-1) 乗に比例する関数によって下限づけられる。ここで F(T) は閾値 T における候補者質の累積分布関数である。
• モデルは、大多数のグループに属する候補者が平均的に優れている場合でも、ルーニー・ルールがバイアスに起因する誤りを是正し、より良い全体の選択結果をもたらす可能性があることを示している。
• 分析から、ルーニー・ルールの有効性はバイアスと代表割合に加え、特に尾部の挙動に影響を受ける質の分布の形状にも依存することが明らかになった。
• 順序統計量の理論的境界（例：Pr[X_{(n-1:n)} ≥ T ∩ Y_{(n-1:n)} ≥ T] ≤ 2nF(T)^{n-1}）は、優れたマイノリティ候補者が見過ごされるリスクを定量化するために不可欠である。