[論文レビュー] Omitted and Included Variable Bias in Tests for Disparate Impact

Jongbin Jung, Sam Corbett‐Davies+2 more|arXiv (Cornell University)|Sep 15, 2018

Advanced Causal Inference Techniques参考文献 30被引用数 6

ひとこと要約

本論文は、差別の的影響テストにおける変数漏れバイアスおよび不要変数バイアスを是正するため、3段階のリスク調整回帰手法を提案する。まず、すべての共変量から意思決定の有効性を推定し、次にその推定値のみを制御変数として差別の性向をテストし、最後に未測定の交絡要因に対する感度分析を実施することで、差別検出におけるバイアスを低減する。この手法は、220万件のNYC路上パトロール停止データに適用され、従来の手法では誤った結論が得られることが示された。

ABSTRACT

Policymakers often seek to gauge discrimination against groups defined by race, gender, and other protected attributes. One popular strategy is to estimate disparities after controlling for observed covariates, typically with a regression model. This approach, however, suffers from two statistical challenges. First, omitted-variable bias can skew results if the model does not control for all relevant factors; second, and conversely, included-variable bias can skew results if the set of controls includes irrelevant factors. Here we introduce a simple three-step strategy---which we call risk-adjusted regression---that addresses both concerns in settings where decision makers have clearly measurable objectives. In the first step, we use all available covariates to estimate the utility of possible decisions. In the second step, we measure disparities after controlling for these utility estimates alone, mitigating the problem of included-variable bias. Finally, in the third step, we examine the sensitivity of results to unmeasured confounding, addressing concerns about omitted-variable bias. We demonstrate this method on a detailed dataset of 2.2 million police stops of pedestrians in New York City, and show that traditional statistical tests of discrimination can yield misleading results. We conclude by discussing implications of our statistical approach for questions of law and policy.

研究の動機と目的

• 未測定の交絡要因が差別検出に歪みをもたらす、差別的影響を検出する統計的検定における変数漏れバイアスを是正すること。
• 不要または重複する制御変数が、グループ間の差異推定に歪みをもたらす、不要変数バイアスを是正すること。
• 政策的意義のある状況において、統計的検定を明確に測定可能な意思決定の目的と一致させる手法を開発すること。
• 未測定の交絡要因に対する感度分析フレームワークを提供し、差別のの結論の妥当性を高めること。
• 220万件のNYC路上パトロール停止データを用いた大規模なデータセットを用いて、本手法の実践的影響を示すこと。

提案手法

• ステップ1：すべての利用可能な共変量を用いて、結果を予測するための意思決定の有効性を推定し、リスクスコアを形成する。
• ステップ2：グループ所属を予測変数として、結果を回帰するが、制御変数はリスクスコアの推定値のみを用いることで、不要変数バイアスを低減する。
• ステップ3：未測定の交絡要因が結果に与える影響を評価する感度分析を実施し、変数漏れバイアスに対処する。
• 本手法は、全共変量モデルから得られるリスクスコアを、公平性テストの十分統計量として用いる。
• 本手法は、有効性の推定値を制御した後、差別の推定を行う回帰モデルを用い、関連する要因のみが結果に影響を与えるようにする。
• 感度分析は、未測定の交絡要因に関する仮定を変化させることで、結論の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 実世界の政策的応用において、変数漏れバイアスは差別的影響の統計的検定をどのように歪めるか？
• RQ2 不要または重複する共変量を含めることで、差別検出にどの程度バイアスが生じるか？
• RQ3 リスク調整回帰フレームワークは、同時に変数漏れバイアスと不要変数バイアスを是正できるか？
• RQ4 大規模な警察活動データにおいて、従来の差別検定は未測定の交絡要因に対してどの程度感受的か？
• RQ5 意思決定の有効性と未測定の交絡要因を考慮する手法を用いることで、どのような政策的含みがあるか？

主な発見

• 警察活動データにおける差別検出のための従来の統計的検定は、制御不能な交絡要因や不要な共変量の影響により、誤った結論を導くことがある。
• リスク調整回帰手法は、すべての共変量から得られる有効性推定値に焦点を当てることで、不要な制御要因の影響を最小限に抑え、バイアスを低減する。
• 感度分析から、未測定の交絡要因が差別的影響に関する結論を顕著に変える可能性があることが明らかとなり、妥当性の確認が不可欠であることが示された。
• NYC路上パトロール停止データでは、従来の回帰アプローチでは見えなかった差別的傾向が、本手法によって特定された。
• 意思決定の目的と統計的モデリングを一致させることで、法的および政策的評価においてより説得力のある枠組みを提供する。
• 本研究は、リスク調整回帰が、高リスクの実世界の状況における公平性評価の妥当性を向上させることを示した。