[论文解读] Chasing Fairness Under Distribution Shift: A Model Weight Perturbation Approach

Zhimeng Jiang, Xiaotian Han+5 more|arXiv (Cornell University)|Mar 6, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出稳健公平正则化（RFR），一种模型权重扰动方法，通过在群体内强制对最坏情况下的权重扰动保持鲁棒性，确保在分布偏移下的公平性。与基线方法相比，该方法在合成和真实世界分布偏移下实现了更优的公平性-准确率权衡，其理论基础在于分布偏移与模型权重扰动之间的等价性。

ABSTRACT

Fairness in machine learning has attracted increasing attention in recent years. The fairness methods improving algorithmic fairness for in-distribution data may not perform well under distribution shifts. In this paper, we first theoretically demonstrate the inherent connection between distribution shift, data perturbation, and model weight perturbation. Subsequently, we analyze the sufficient conditions to guarantee fairness (i.e., low demographic parity) for the target dataset, including fairness for the source dataset, and low prediction difference between the source and target datasets for each sensitive attribute group. Motivated by these sufficient conditions, we propose robust fairness regularization (RFR) by considering the worst case within the model weight perturbation ball for each sensitive attribute group. We evaluate the effectiveness of our proposed RFR algorithm on synthetic and real distribution shifts across various datasets. Experimental results demonstrate that RFR achieves better fairness-accuracy trade-off performance compared with several baselines. The source code is available at \url{https://github.com/zhimengj0326/RFR_NeurIPS23}.

研究动机与目标

• 为解决机器学习模型在分布偏移下公平性退化这一关键挑战，特别是在医疗保健和刑事司法等高风险应用中的问题。
• 从损失值的角度，理论证明分布偏移、数据扰动与模型权重扰动之间的等价性。
• 识别确保公平性从源分布到目标分布可迁移的充分条件，强调不同敏感群体间预测差异的重要性。
• 开发一种稳健公平正则化（RFR）方法，明确针对每个敏感属性群体的最坏情况模型权重扰动，强制实现公平性。
• 使公平模型在部署后数据分布发生变化的实际场景中能够实现可部署性。

提出的方法

• 理论上证明分布偏移与模型权重扰动等价，通过展示在任意模型架构和损失函数下损失值的等价性。
• 提出RFR作为一种正则化技术，通过在每个敏感群体的球形区域内优化最坏情况下的模型权重扰动，确保公平性的鲁棒性。
• 使用一阶泰勒展开近似RFR中的内层最大化问题，通过每次更新仅需两次前向和反向传播实现高效计算。
• 将RFR损失整合到训练目标中，联合优化在分布偏移下的准确率与公平性鲁棒性。
• 采用基于扰动的公式化方法，通过模型权重变化显式建模分布偏移对公平性的影响。
• 在包含合成和真实世界分布偏移的多种数据集上应用该方法，以验证其鲁棒性。

实验结果

研究问题

• RQ1 能否在损失等价性方面，正式建立分布偏移与模型权重扰动之间的联系？
• RQ2 在分布偏移下，确保公平性从源分布到目标分布可迁移的充分条件是什么？
• RQ3 通过优化每个敏感群体内部的最坏情况模型权重扰动，能否实现稳健公平性？
• RQ4 在分布偏移下，所提出的RFR方法与现有公平性基线相比，在公平性-准确率权衡方面表现如何？
• RQ5 RFR方法在合成和真实世界分布偏移下是否均能保持公平性表现？

主要发现

• 本文建立了分布偏移与模型权重扰动之间的理论等价性，表明任何分布偏移均可表示为保持损失值不变的模型权重扰动。
• RFR在多种包含合成和真实分布偏移的数据集上，均优于多个基线方法，实现了更优的公平性-准确率权衡。
• 即使源模型本身已是公平的，该方法仍能有效维持分布偏移下的低人口统计均等性差异。
• 实验表明，超参数λ可有效控制公平性-准确率权衡，最优性能在中等λ值下实现。
• RFR中内层最大化问题的一阶近似，仅需每次更新两次前向和反向传播，使方法具备高效性与可扩展性。
• 实证结果证实，每个敏感群体在源分布与目标分布之间的预测差异，是公平性可迁移性的关键因素。