[论文解读] Assessing Disparate Impact of Personalized Interventions: Identifiability and Bounds

Nathan Kallus, Angela Zhou|arXiv (Cornell University)|Jan 1, 2019

Advanced Causal Inference Techniques被引用 6

一句话总结

本文提出了一种框架，用于审计个性化干预措施的差异性影响，即使反事实结果未被观测到。在单调处理响应假设下，该框架可实现对公平性度量（如真正例率）的点识别；若该假设不成立，则利用ROC和xROC曲线提供精确的部分识别边界，该方法在法国职业培训数据集上得到验证。

ABSTRACT

Personalized interventions in social services, education, and healthcare leverage individual-level causal effect predictions in order to give the best treatment to each individual or to prioritize program interventions for the individuals most likely to benefit. While the sensitivity of these domains compels us to evaluate the fairness of such policies, we show that actually auditing their disparate impacts per standard observational metrics, such as true positive rates, is impossible since ground truths are unknown. Whether our data is experimental or observational, an individual's actual outcome under an intervention different than that received can never be known, only predicted based on features. We prove how we can nonetheless point-identify these quantities under the additional assumption of monotone treatment response, which may be reasonable in many applications. We further provide a sensitivity analysis for this assumption via sharp partial-identification bounds under violations of monotonicity of varying strengths. We show how to use our results to audit personalized interventions using partially-identified ROC and xROC curves and demonstrate this in a case study of a French job training dataset.

研究动机与目标

• 解决在反事实结果未被观测时，审计个性化干预中公平性挑战的问题。
• 识别在反事实结果未被观测的情况下，标准公平性度量（如真正例率）可被点识别的条件。
• 通过精确的部分识别边界，对单调处理响应假设的敏感性进行分析。
• 开发基于部分识别的ROC和xROC曲线的实用公平性审计工具。
• 通过法国职业培训计划的案例研究，展示该方法的实用性。

提出的方法

• 引入单调处理响应假设，以实现对真正例率等公平性度量的点识别。
• 推导在单调性被违反时，公平性度量的精确部分识别边界，涵盖不同程度的违反强度。
• 将ROC和扩展ROC（xROC）曲线适配到部分识别设置中，以可视化公平性权衡。
• 利用个体层面的特征和预测的处理效应，估计不同子群体间结果差异的边界。
• 通过建模不同干预下的潜在结果，将该框架应用于观察性数据。
• 采用敏感性分析，评估公平性结论对单调性偏离的稳健性。

实验结果

研究问题

• RQ1 当反事实结果未被观测时，能否在个性化干预中对真正例率等公平性度量实现点识别？
• RQ2 公平性结论对单调处理响应假设的违反有多敏感？
• RQ3 在不同强度的单调性违反下，公平性度量的精确部分识别边界是什么？
• RQ4 如何将ROC和xROC曲线适配到存在部分识别的情境中以表示公平性？
• RQ5 该框架在多大程度上可应用于审计现实世界中的个性化干预，例如职业培训项目？

主要发现

• 在单调处理响应假设下，即使反事实结果未被观测，真正例率和其他公平性度量仍可实现点识别。
• 当单调性被违反时，本文提供了精确的部分识别边界，用于量化公平性度量中的不确定性。
• 该框架支持构建部分识别的ROC和xROC曲线，可在不确定性下可视化公平性权衡。
• 对法国职业培训数据集的案例研究证明了该方法在现实社会服务干预中的实际适用性。
• 敏感性分析揭示了公平性结论对单调性偏离的稳健性，支持对结果的谨慎解读。
• 该方法使在传统观察性公平性度量本质上无法识别的环境中实现可审计的公平性评估成为可能。