[论文解读] FairBatch: Batch Selection for Model Fairness

Yuji Roh, Kangwook Lee+2 more|arXiv (Cornell University)|Dec 3, 2020

Privacy-Preserving Technologies in Data参考文献 46被引用 35

一句话总结

FairBatch 引入外部双层优化，按自适应重新加权小批量采样以在不改变数据预处理或内部模型训练的情况下提升群体公平性（机会平等、等化赔率、人口统计平等）。它还可对预训练模型进行公平性微调。

ABSTRACT

Training a fair machine learning model is essential to prevent demographic disparity. Existing techniques for improving model fairness require broad changes in either data preprocessing or model training, rendering themselves difficult-to-adopt for potentially already complex machine learning systems. We address this problem via the lens of bilevel optimization. While keeping the standard training algorithm as an inner optimizer, we incorporate an outer optimizer so as to equip the inner problem with an additional functionality: Adaptively selecting minibatch sizes for the purpose of improving model fairness. Our batch selection algorithm, which we call FairBatch, implements this optimization and supports prominent fairness measures: equal opportunity, equalized odds, and demographic parity. FairBatch comes with a significant implementation benefit -- it does not require any modification to data preprocessing or model training. For instance, a single-line change of PyTorch code for replacing batch selection part of model training suffices to employ FairBatch. Our experiments conducted both on synthetic and benchmark real data demonstrate that FairBatch can provide such functionalities while achieving comparable (or even greater) performances against the state of the arts. Furthermore, FairBatch can readily improve fairness of any pre-trained model simply via fine-tuning. It is also compatible with existing batch selection techniques intended for different purposes, such as faster convergence, thus gracefully achieving multiple purposes.

研究动机与目标

• 通过修改批次选择而非数据或模型结构，促进并实现更易于将公平性融入 ML。
• 开发一个双层优化框架，将批量采样视为影响内部模型训练的外部优化器。
• 提供一个实用、侵入性最小的 FairBatch 实现，兼容常用框架（如 PyTorch）。
• 在合成数据和真实数据集上展示 FairBatch 在多种公平性 notions（EO、ED、DP）上的有效性。
• 展示 FairBatch 能通过微调提升预训练模型的公平性，并可与其他批次选择技术共存。

提出的方法

• 在双层框架中将批量选择设定为外部优化，其中内部问题是标准 SGD 训练。
• 定义以公平为导向的外部目标，最小化差异如 |L_{y,z}(w_λ) − L_{y,⊥}(w_λ)| 或跨群体的最大差异目标。
• 引入一个或多维外部变量 λ，控制对不同敏感组阶层的采样概率。
• 提供简单且可在一维情况下（d=1）收敛的 λ 更新规则（梯度式）。
• 通过使用子梯度近似来扩展到多维设置（d>1），以避免昂贵的 Hessian 计算。
• 通过与重要性加权等方法相结合，展示与现有批量选择方法兼容以加速收敛。

实验结果

研究问题

• RQ1 将自适应批量选择框架为双层优化，在标准 SGD 训练过程中是否能强制实现如平等机会、等化赔率和人口统计平等等群体公平标准？
• RQ2 外部优化变量（采样概率）应如何更新以减少群体差异，同时不牺牲整体准确性？
• RQ3 FairBatch 是否在合成数据和真实数据集上有效，且能与预训练模型或其他批次选择技术兼容？
• RQ4 对所提的一维外部优化有哪些理论保证（例如准凸性与收敛性），多维情况在实践中的表现如何？
• RQ5 FairBatch 多容易集成到现有 ML 流水线中，代码改动最小？

主要发现

• FairBatch 在保持在合成和真实数据集上的准确性同时，与最前沿的公平性方法相比，在 EO、ED、DP 上达到可比或更好 的公平性。
• 在合成数据、COMPAS 和 AdultCensus 上，FairBatch 降低公平性差异，收敛速度（所需的 epoch 数）相近或更快。
• FairBatch 通过微调可提高预训练模型的公平性（例如在 UTKFace 上使用 ResNet18/GoogLeNet），且不像某些基线那样牺牲准确性。
• FairBatch 实践中易于实现，只需对 PyTorch 的批量采样器做少量修改（一行修改）。
• 该方法可与其他批次选择策略结合，如基于损失的加权，以在保持公平性同时加速收敛。
• 与 AdaFair 相比，FairBatch 实现了类似的公平性提升，但仅需单模型训练，带来显著的速度优势（在报道的实验中快 22.5–96x）。