[论文解读] Exchanging Lessons Between Algorithmic Fairness and Domain Generalization

Elliot Creager, Joern-Henrik Jacobsen+1 more|arXiv (Cornell University)|May 4, 2021

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

该论文通过提出一种新颖的域泛化方法，建立了算法公平性与域泛化之间的双向联系，该方法无需预定义的环境划分——其灵感源自提升最坏情况性能但不依赖群体标签的公平性技术。该方法在不变风险最小化（IRMv1）的基础上实现改进，首次实现了对群体充分性（group-sufficiency）这一公平性准则的直接优化，显著提升了泛化性能。

ABSTRACT

Standard learning approaches are designed to perform well on average for the data distribution available at training time. Developing learning approaches that are not overly to the training distribution is central to research on domain- or out-of-distribution generalization, robust optimization and fairness. In this work we focus on links between research on domain generalization and algorithmic fairness---where performance under a distinct but related test distributions is studied---and show how the two fields can be mutually beneficial. While domain generalization methods typically rely on knowledge of disjoint domains or environments, sensitive label information indicating which demographic groups are at risk of discrimination is often used in the fairness literature. Drawing inspiration from recent fairness approaches that improve worst-case performance without knowledge of groups, we propose a novel domain generalization method that handles the more realistic scenario where environment partitions are not provided. We then show theoretically and empirically how different partitioning schemes can lead to increased or decreased generalization performance, enabling us to outperform Invariant Risk Minimization with handcrafted environments in multiple cases. We also show how a re-interpretation of IRMv1 allows us for the first time to directly optimize a common fairness criterion, group-sufficiency, and thereby improve performance on a fair prediction task.

研究动机与目标

• 通过识别在不同分布下实现鲁棒泛化的共同挑战，弥合算法公平性与域泛化之间的鸿沟。
• 解决在现实世界应用中常见的环境划分不可用这一实际场景，这是域泛化中的一个普遍限制。
• 通过重新诠释 IRMv1 方法，实现对群体充分性——一种公平性准则——的直接优化。
• 证明不同的划分方案对泛化性能有显著影响，为鲁棒模型设计提供新见解。

提出的方法

• 提出一种域泛化方法，通过借鉴不依赖群体标签的公平性技术，提升最坏情况性能，且无需显式知晓环境划分。
• 将不变风险最小化（IRMv1）方法适配为可直接优化群体充分性（一种公平性度量）的框架，实现公平性与泛化性能的联合提升。
• 采用一种损失函数，通过重新诠释的 IRMv1 目标，在促进跨环境不变性的同时引入公平性约束。
• 在多个数据集上，使用手工设计和学习得到的环境划分对性能进行评估，以比较泛化鲁棒性。
• 分析不同划分方案对模型泛化的影响，识别出性能提升或下降的条件。

实验结果

研究问题

• RQ1 如何将不依赖群体标签的公平性启发技术适配到无需环境划分的域泛化中以提升性能？
• RQ2 不同的环境划分方案对域泛化中的泛化性能有何影响？
• RQ3 IRMv1 能否被重新诠释以直接优化群体充分性等标准公平性准则？
• RQ4 在哪些场景下，所提出的方法优于使用手工环境划分的标准 IRMv1？
• RQ5 公平性与域泛化之间的相互作用如何指导更鲁棒、更公平的机器学习模型设计？

主要发现

• 所提出的域泛化方法在多个数据集上实现了优于标准 IRMv1 的泛化性能，即使在无预定义环境划分的情况下亦然。
• 研究发现，不同的划分方案对泛化性能有显著影响，部分配置相比基线方法实现了显著提升。
• 对 IRMv1 的重新诠释实现了对群体充分性（关键公平性度量）的直接优化，从而在公平预测任务中取得更优性能。
• 该方法表明，具备公平性意识的设计可增强对分布偏移的鲁棒性，验证了公平性与域泛化之间的相互增益。
• 实证结果表明，在环境划分不可用或指定不佳的场景下，所提方法始终优于 IRMv1。