[论文解读] Fairness-Aware PAC Learning from Corrupted Data

Nikola Konstantinov, Christoph H. Lampert|arXiv (Cornell University)|Feb 11, 2021

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文研究了在对抗性数据污染下公平感知PAC学习的根本极限，表明即使在无限数据的情况下，当对手污染了部分训练数据时，也没有学习算法能保证公平性。研究证明，公平性度量中的超额偏差与代表性不足的受保护群体频率成反比，并在恶意对手模型下为两种自然学习算法建立了阶最优的保证，证明了理论边界的紧致性（仅相差常数因子）。

ABSTRACT

Addressing fairness concerns about machine learning models is a crucial step towards their long-term adoption in real-world automated systems. While many approaches have been developed for training fair models from data, little is known about the robustness of these methods to data corruption. In this work we consider fairness-aware learning under worst-case data manipulations. We show that an adversary can in some situations force any learner to return an overly biased classifier, regardless of the sample size and with or without degrading accuracy, and that the strength of the excess bias increases for learning problems with underrepresented protected groups in the data. We also prove that our hardness results are tight up to constant factors. To this end, we study two natural learning algorithms that optimize for both accuracy and fairness and show that these algorithms enjoy guarantees that are order-optimal in terms of the corruption ratio and the protected groups frequencies in the large data limit.

研究动机与目标

• 研究公平感知机器学习在最坏情况数据污染下的鲁棒性。
• 分析当对手以对抗方式操纵训练数据时，公平性保证是否能够保持。
• 确定在存在数据污染的情况下，公平感知学习的根本极限，特别是对代表性不足的受保护群体而言。
• 建立公平学习中超额偏差与污染鲁棒性的紧致理论边界。
• 评估在对抗性污染下自然公平性优化学习算法的性能，证明在大样本极限下其阶最优性。

提出的方法

• 通过一个恶意对手建模数据污染，该对手可将训练样本的一部分替换为任意数据，且完全知晓学习算法和数据分布。
• 聚焦于两种标准公平约束：二分类中的群体平等与机会平等。
• 运用PAC学习理论，在对抗性污染下推导泛化边界，同时分析准确率与公平性。
• 应用集中不等式与联合界，推导在污染下经验风险与公平性偏差的高概率边界。
• 通过为两种自然学习算法构造匹配的上界，证明了困难结果在常数因子范围内是紧致的。
• 分析受保护群体频率对不可约公平性偏差的影响，表明其与稀有群体频率成反比。

实验结果

研究问题

• RQ1 公平感知学习算法是否能在任意对抗性数据污染下保证公平性？
• RQ2 当训练数据被恶意对手污染时，学习中公平性的根本极限是什么？
• RQ3 代表性不足的受保护群体频率如何影响污染下公平性度量中的不可约偏差？
• RQ4 是否存在在大样本极限下，其性能在污染比率与群体频率方面达到阶最优的学习算法？
• RQ5 由数据污染引入的超额偏差是否可被界定，且这些边界在常数因子范围内是否紧致？

主要发现

• 即使在无限数据条件下，任何公平感知学习算法也无法保证收敛到准确率-公平性帕累托前沿，当面临对抗性数据污染时。
• 公平性度量中的不可约超额偏差与代表性更少的受保护群体频率成反比，使得代表性不足的群体尤其脆弱。
• 对手可迫使任何学习器生成高度偏见的分类器，同时仍保持高准确率，从而可能在隐私保护系统中逃避检测。
• 困难结果在常数因子范围内是紧致的，这通过为两种自然学习算法构造匹配的上界得到证明。
• 两种算法在大样本极限下均实现了阶最优性能，其保证在污染比率与受保护群体频率方面均达到最优尺度。
• 理论边界表明，即使在最优学习策略下，当受保护群体频率较低时，公平性鲁棒性仍会显著下降。