[论文解读] FR-Train: A Mutual Information-Based Approach to Fair and Robust Training

Yuji Roh, Kangwook Lee+2 more|arXiv (Cornell University)|Feb 24, 2020

Machine Learning and Algorithms参考文献 45被引用 12

一句话总结

FR-Train 是一种基于 GAN 的新型框架，通过利用两个判别器（一个用于公平性，一个用于鲁棒性）的互信息，联合优化模型的公平性与对数据 poisoning 的鲁棒性。该框架在 poisoning 攻击下仍能保持高准确率与高公平性，优于现有公平性方法，后者在数据污染下性能会下降。

ABSTRACT

Trustworthy AI is a critical issue in machine learning where, in addition to training a model that is accurate, one must consider both fair and robust training in the presence of data bias and poisoning. However, the existing model fairness techniques mistakenly view poisoned data as an additional bias to be fixed, resulting in severe performance degradation. To address this problem, we propose FR-Train, which holistically performs fair and robust model training. We provide a mutual information-based interpretation of an existing adversarial training-based fairness-only method, and apply this idea to architect an additional discriminator that can identify poisoned data using a clean validation set and reduce its influence. In our experiments, FR-Train shows almost no decrease in fairness and accuracy in the presence of data poisoning by both mitigating the bias and defending against poisoning. We also demonstrate how to construct clean validation sets using crowdsourcing, and release new benchmark datasets.

研究动机与目标

• 解决训练可信 AI 模型的关键挑战，即模型在公平性与对数据 poisoning 的鲁棒性方面均表现优异。
• 识别现有公平性方法对 data poisoning 的脆弱性，其准确率-公平性权衡会因数据污染而恶化。
• 提出一种统一的训练框架，通过互信息同时缓解偏差并抵御 poisoning 攻击。
• 证明可通过众包构建干净验证集以支持鲁棒性校准的可行性。
• 发布新的基准数据集，以支持公平且鲁棒学习领域的可重现研究。

提出的方法

• FR-Train 通过引入一个基于互信息的公平性解释判别器，扩展了对抗性去偏方法，该判别器强制预测与敏感属性之间相互独立。
• 引入第二个判别器，利用互信息区分训练数据预测与干净验证集标签，确保预测与干净数据的一致性。
• 鲁棒性判别器通过最小化训练预测与干净验证标签之间的互信息进行训练，作为数据质量的参考。
• 该框架通过对抗性训练联合优化生成器（分类器）与两个判别器，实现端到端的公平且鲁棒的学习。
• 基于鲁棒性判别器的输出，应用示例重加权，以在 poisoning 条件下进一步提升公平性与准确率。
• 通过在 Amazon Mechanical Turk 上众包构建干净验证集，为鲁棒性提供可靠参考。

实验结果

研究问题

• RQ1 现有公平性方法在数据 poisoning 攻击下能否维持性能？
• RQ2 如何利用互信息在模型训练中联合优化公平性与鲁棒性？
• RQ3 能否通过众包有效构建干净验证集以支持鲁棒性校准？
• RQ4 在单一框架中整合公平性与鲁棒性训练是否能改善 poisoning 条件下的准确率-公平性权衡？
• RQ5 当干净验证集较小或不可用时，FR-Train 是否仍能维持公平性与准确率？

主要发现

• 现有公平性方法（如对抗性去偏）在 data poisoning 攻击下性能严重下降，准确率从 0.8 降至 0.6，而公平性保持不变。
• FR-Train 即使在 poisoning 攻击下仍能保持近乎完美的公平性，且准确率下降极小（例如 <5% 的退化），表现出强鲁棒性。
• 基于互信息的鲁棒性判别器能有效识别并减少污染训练样本的影响。
• 该框架在小规模或不完美的干净验证集下仍具有效性，展现出良好的实际适应性。
• 当与数据清洗结合时，FR-Train 优于基线公平性方法，而后者无法防止 poisoning 下的性能退化。
• 作者发布了两个通过众包构建的新基准数据集，以支持未来公平且鲁棒学习领域的研究。