[论文解读] Fairness Under Unawareness: Assessing Disparity When Protected Class Is Unobserved

Jiahao Chen, Nathan Kallus+3 more|arXiv (Cornell University)|Nov 27, 2018

Ethics and Social Impacts of AI参考文献 18被引用 17

一句话总结

本文分析了在保护性类别成员身份（如种族）未被观测到并使用代理模型（如贝叶斯改进姓氏地理编码，BISG）推断时，公平性评估中的偏差问题。研究发现，基于阈值的推断会因地理间与地理内偏差的复杂交互作用而高估差异；而所提出的加权估计器仅包含单一、可分析的偏差来源——即地理内结果的变异，因此会低估差异。加权估计器简化了偏差推理过程，并对阈值选择更具鲁棒性。

ABSTRACT

Assessing the fairness of a decision making system with respect to a protected class, such as gender or race, is challenging when class membership labels are unavailable. Probabilistic models for predicting the protected class based on observable proxies, such as surname and geolocation for race, are sometimes used to impute these missing labels for compliance assessments. Empirically, these methods are observed to exaggerate disparities, but the reason why is unknown. In this paper, we decompose the biases in estimating outcome disparity via threshold-based imputation into multiple interpretable bias sources, allowing us to explain when over- or underestimation occurs. We also propose an alternative weighted estimator that uses soft classification, and show that its bias arises simply from the conditional covariance of the outcome with the true class membership. Finally, we illustrate our results with numerical simulations and a public dataset of mortgage applications, using geolocation as a proxy for race. We confirm that the bias of threshold-based imputation is generally upward, but its magnitude varies strongly with the threshold chosen. Our new weighted estimator tends to have a negative bias that is much simpler to analyze and reason about.

研究动机与目标

• 理解为何通过代理模型（如BISG）基于阈值的保护性类别成员身份推断会导致夸大差异估计。
• 分解当保护性类别标签缺失并使用概率代理模型推断时，结果差异估计中的偏差来源。
• 提出并分析一种替代的加权估计器，将代理模型中的不确定性传播到最终的公平性估计中。
• 证明加权估计器的偏差仅源于单一可解释的来源：各地理区域内不同种族群体之间的结果条件协方差。
• 为在不知情条件下使用加权估计器替代基于阈值的推断提供理论与实证依据。

提出的方法

• 本文引入一种基于阈值的估计器，根据代理模型（如BISG）输出的概率阈值将个体分配至保护性类别，随后使用这些推断的标签计算差异。
• 推导出基于阈值的估计器偏差的理论分解，将其分为两部分：跨普查区的差异（地理间变异）和各区内差异（地理内变异），即结果与真实类别成员身份相关性的变化。
• 提出一种加权估计器，使用代理模型输出的完整后验概率作为差异估计中的权重，避免使用硬性阈值。
• 理论证明加权估计器的偏差仅取决于每个地理位置内结果与真实类别成员身份的条件协方差（即区内变异）。
• 通过数值模拟和一个公开的HMDA抵押贷款数据集（以地理位置作为种族的代理）验证理论结果。
• 本文使用定理3.1证明，加权估计器的偏差由结果与优势群体正相关、与劣势群体负相关的普查区分布决定。

实验结果

研究问题

• RQ1 为何通过代理模型（如BISG）基于阈值的保护性类别成员身份推断会倾向于高估人口差异？
• RQ2 当保护性类别成员身份未被观测到时，基于阈值的差异估计中存在哪些不同的偏差来源？
• RQ3 使用代理模型软分类的加权估计器的偏差与基于阈值的估计器有何不同？
• RQ4 加权估计器的偏差能否由单一、可解释的成分表征？这如何简化公平性评估？
• RQ5 推断中阈值的选择如何影响差异估计偏差的大小与方向？

主要发现

• 基于阈值的推断导致差异估计出现向上偏差，这是由于地理间与地理内变异之间复杂交互作用所致，其偏差大小强烈依赖于所选阈值。
• 基于阈值的估计器的偏差源于保护性类别成员身份与结果相关性在地理间与地理内的双重变异。
• 加权估计器的偏差来源单一且可分析：即每个地理位置内结果与真实类别成员身份的条件协方差，导致对差异的系统性低估。
• 在HMDA抵押贷款数据集中，大多数人口生活在白人获得更高批准率而黑人或西班牙裔邻居获得更低批准率的普查区中，这解释了加权估计器的低估偏差。
• 基于阈值的估计器的偏差对阈值选择高度敏感，因其存在相互竞争的偏差来源，导致在不同场景下结果不具鲁棒性。
• 加权估计器的偏差更易于推理且更具可预测性，因此在保护性类别标签未被观测时，是公平性评估中更具说服力的替代方案。