[论文解读] Fairness Transferability Subject to Bounded Distribution Shift

Yatong Chen, Reilly Raab+2 more|arXiv (Cornell University)|May 31, 2022

Health, Environment, Cognitive Aging被引用 4

一句话总结

本文提出一个通用框架，用于在受限分布偏移下界定机器学习预测器中统计群体公平性的可转移性，无需假设特定的偏移机制或公平性定义。该框架推导出跨分布的公平性违规行为的通用上界，并在真实世界数据和确定性偏移模型上进行了实证验证，使在社会影响重大的应用中能够提前检测潜在不公平的部署。

ABSTRACT

Given an algorithmic predictor that is "fair" on some source distribution, will it still be fair on an unknown target distribution that differs from the source within some bound? In this paper, we study the transferability of statistical group fairness for machine learning predictors (i.e., classifiers or regressors) subject to bounded distribution shifts. Such shifts may be introduced by initial training data uncertainties, user adaptation to a deployed predictor, dynamic environments, or the use of pre-trained models in new settings. Herein, we develop a bound that characterizes such transferability, flagging potentially inappropriate deployments of machine learning for socially consequential tasks. We first develop a framework for bounding violations of statistical fairness subject to distribution shift, formulating a generic upper bound for transferred fairness violations as our primary result. We then develop bounds for specific worked examples, focusing on two commonly used fairness definitions (i.e., demographic parity and equalized odds) and two classes of distribution shift (i.e., covariate shift and label shift). Finally, we compare our theoretical bounds to deterministic models of distribution shift and against real-world data, finding that we are able to estimate fairness violation bounds in practice, even when simplifying assumptions are only approximately satisfied.

研究动机与目标

• 为解决在机器学习预测器部署于与训练数据不同的目标分布时，确保公平性鲁棒性的关键空白问题。
• 量化由于受限分布偏移，基于统计群体公平性定义的公平性保证可能退化的程度。
• 开发一种通用且无偏倚的上界，适用于各种公平性定义（例如，人口均等性、等化机会）和偏移类型（例如，协变量偏移、标签偏移）。
• 即使在偏移机制未知或复杂的情况下，也能实现在部署前对公平性鲁棒性进行认证。
• 通过聚焦于不确定性下的公平性可转移性，弥合领域自适应（侧重于准确性）与算法公平性（通常假设分布静态）之间的鸿沟。

提出的方法

• 通过将目标分布的可能范围限定在有界域内，将偏移视为在已知约束下的对抗性扰动，形式化推导出公平性违规可转移性的通用上界。
• 将该上界应用于两种常见的公平性定义：人口均等性（DP）和等化机会（EO），以及两种偏移类型：协变量偏移和标签偏移。
• 利用方差项和概率偏移项，推导出在策略响应和标签复制动力学下DP的具体解析上界。
• 通过向量空间中的几何分析和基于内积的方法，利用基于角度的余弦关系，对协变量偏移下的真正例率进行有界。
• 利用H-散度和条件概率不变性，推导出不同分布间公平性度量变化的上界。
• 将理论上的上界与确定性分布偏移模型及美国人口普查数据（2014–2018年）中的人口与收入偏移进行实证验证。

实验结果

研究问题

• RQ1 当在源分布上训练的预测器应用于具有受限偏移的目标分布时，我们能否对统计群体公平性的退化程度进行界定？
• RQ2 在不同类型的分布偏移（如协变量偏移和标签偏移）下，公平性可转移性如何变化？
• RQ3 在不假设底层偏移机制或群体特定偏移参数知识的前提下，公平性违规程度在多大程度上可以被量化？
• RQ4 在策略性行为（例如，个体为响应政策而改变特征）下，公平性边界表现如何？
• RQ5 理论上的公平性边界是否可以在具有已知分布偏移的真实世界数据上进行实际估计和验证？

主要发现

• 所提出的上界即使在简化假设仅近似满足的情况下，也能成功量化跨分布的公平性违规可转移性。
• 在策略响应下的群体均等性中，公平性违规上界与群体特定的方差项和特征偏移幅度成比例，其推导出的上界包含τg(1−τg)和M_g。
• 在标签复制动力学下，公平性违规上界取决于群体比例的绝对变化量和预测概率的比值，为现实世界偏移提供了实用估计。
• 在协变量偏移情况下，利用基于角度的余弦关系对真正例率进行有界，其极值由参考向量之间的最小和最大夹角决定。
• 基于美国人口普查数据（2014–2018年）的实证评估表明，公平性违规随准确率下降而增加，验证了该模型在真实世界分布偏移中的预测能力。
• 该框架可通过在公平性违规上界超过可接受阈值时发出警报，实现在部署前检测潜在不公平政策应用。