[論文レビュー] Assessing Disparate Impact of Personalized Interventions: Identifiability and Bounds

Nathan Kallus, Angela Zhou|arXiv (Cornell University)|Jan 1, 2019

Advanced Causal Inference Techniques被引用数 6

ひとこと要約

本稿は、観察されない反実仮想結果があるにもかかわらず、パーソナライズド介入の差別的影響を監査するフレームワークを提案する。単調な処置反応仮定のもとでは、真陽性率のような公平性指標の点推定が可能になる。仮定が成り立たない場合には、ROCおよびxROC曲線を用いて鋭い部分的同定境界を提供する。実証はフランスの職業訓練データセットを用いて行われた。

ABSTRACT

Personalized interventions in social services, education, and healthcare leverage individual-level causal effect predictions in order to give the best treatment to each individual or to prioritize program interventions for the individuals most likely to benefit. While the sensitivity of these domains compels us to evaluate the fairness of such policies, we show that actually auditing their disparate impacts per standard observational metrics, such as true positive rates, is impossible since ground truths are unknown. Whether our data is experimental or observational, an individual's actual outcome under an intervention different than that received can never be known, only predicted based on features. We prove how we can nonetheless point-identify these quantities under the additional assumption of monotone treatment response, which may be reasonable in many applications. We further provide a sensitivity analysis for this assumption via sharp partial-identification bounds under violations of monotonicity of varying strengths. We show how to use our results to audit personalized interventions using partially-identified ROC and xROC curves and demonstrate this in a case study of a French job training dataset.

研究の動機と目的

• 反実仮想結果が観察されない状況におけるパーソナライズド介入の公平性監査という課題に対処すること。
• 真陽性率のような標準的な公平性指標が反実仮想結果が観察されない状況でも点同定可能となる条件を特定すること。
• 単調な処置反応仮定の破れに対する感度分析を、鋭い部分的同定境界を用いて行うこと。
• 部分的に同定されたROCおよびxROC曲線を用いた実用的な公平性監査ツールの開発。
• フランスの職業訓練プログラムを対象とした事例研究を通じて、手法の実用的有用性を示すこと。

提案手法

• 真陽性率のような公平性指標の点同定を可能にするために、単調な処置反応仮定を導入する。
• 単調性の破れの程度が異なる場合の公平性指標の鋭い部分的同定境界を導出する。
• 部分的に同定された設定に適合したROCおよび拡張されたROC（xROC）曲線を、公平性のトレードオフを可視化するために適応する。
• 個々の特徴および予測された処置効果を用いて、サブグループ間の結果格差の境界を推定する。
• 異なる介入下での潜在的結果をモデル化することで、観察データにフレームワークを適用する。
• 単調性からの逸脱に対するロバストネスを評価する感度分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 反実仮想結果が観察されない状況でも、真陽性率のような公平性指標を点同定できるか？
• RQ2 公平性の結論は、単調な処置反応仮定の破れに対してどの程度感度を示すか？
• RQ3 単調性の破れの強さが異なる場合、公平性指標の鋭い部分的同定境界はどのようなものか？
• RQ4 ROCおよびxROC曲線は、部分的同定の下でどのように公平性を表現できるか？
• RQ5 このフレームワークは、職業訓練プログラムのような現実世界のパーソナライズド介入の監査に、どの程度適用可能か？

主な発見

• 単調な処置反応仮定のもとでは、反実仮想結果が観察されない状況でも、真陽性率やその他の公平性指標を点同定可能である。
• 単調性が破られる場合、本稿は公平性指標の不確実性を定量化する鋭い部分的同定境界を提供する。
• フレームワークにより、不確実性下での公平性トレードオフを可視化する部分的に同定されたROCおよびxROC曲線の構築が可能になる。
• フランスの職業訓練データセットを用いた事例研究により、この手法が現実の社会的サービス介入における実用的適用性を示している。
• 感度分析により、単調性からの逸脱に対する公平性結論のロバストネスが明らかになり、結果の解釈を慎重に行う根拠が得られる。
• 従来の観察的公平性指標が根本的に同定不能である状況において、監査可能な公平性評価が可能になる。