[论文解读] Pareto Invariant Risk Minimization: Towards Mitigating the Optimization Dilemma in Out-of-Distribution Generalization

Yongqiang Chen, Kaiwen Zhou+9 more|arXiv (Cornell University)|Jun 15, 2022

Machine Learning and Data Classification被引用 10

一句话总结

本文提出帕累托不变风险最小化（PAIR），一种多目标优化框架，通过联合优化经验风险最小化（ERM）和不变风险最小化（IRM）目标，解决了分布外（OOD）泛化中的优化困境。通过采用帕累托前沿方法，PAIR 避免了启发式惩罚权重的使用，在不损害 ERM 准确率的前提下，实现了多个基准上的最先进 OOD 性能。

ABSTRACT

Recently, there has been a growing surge of interest in enabling machine learning systems to generalize well to Out-of-Distribution (OOD) data. Most efforts are devoted to advancing optimization objectives that regularize models to capture the underlying invariance; however, there often are compromises in the optimization process of these OOD objectives: i) Many OOD objectives have to be relaxed as penalty terms of Empirical Risk Minimization (ERM) for the ease of optimization, while the relaxed forms can weaken the robustness of the original objective; ii) The penalty terms also require careful tuning of the penalty weights due to the intrinsic conflicts between ERM and OOD objectives. Consequently, these compromises could easily lead to suboptimal performance of either the ERM or OOD objective. To address these issues, we introduce a multi-objective optimization (MOO) perspective to understand the OOD optimization process, and propose a new optimization scheme called PAreto Invariant Risk Minimization (PAIR). PAIR improves the robustness of OOD objectives by cooperatively optimizing with other OOD objectives, thereby bridging the gaps caused by the relaxations. Then PAIR approaches a Pareto optimal solution that trades off the ERM and OOD objectives properly. Extensive experiments on challenging benchmarks, WILDS, show that PAIR alleviates the compromises and yields top OOD performances.

研究动机与目标

• 解决 ERM 与 OOD 目标冲突导致的优化困境，避免依赖启发式惩罚权重调节。
• 克服松弛化 OOD 目标（如 IRMv1）因优化松弛而无法保持真实不变解的局限性。
• 开发一种方法，在无需手动调参的情况下实现 ERM 与 OOD 性能之间的平衡权衡。
• 证明可通过多目标优化高效逼近帕累托最优解，避免次优妥协。
• 提供一种鲁棒的训练方案，确保在多种分布偏移下均能持续获得高 OOD 性能。

提出的方法

• PAIR 将 OOD 泛化建模为多目标优化（MOO）问题，联合最小化 ERM 与不变风险最小化（IRM）目标。
• 提出一种基于梯度的下降方向，可在梯度冲突下自适应平衡 ERM 与 OOD 目标，避免固定线性加权方案。
• 该方法计算与帕累托前沿对齐的下降方向，确保收敛至在 ERM 与 OOD 性能之间实现最优权衡的解。
• PAIR 通过直接优化原始 IRM 目标避免使用惩罚项，从而保留其理论鲁棒性。
• 采用基于梯度对齐的动态加权机制，实现无需手动调参的稳定优化。
• 该方法在标准 OOD 基准（Wilds）上进行了验证，包括 ColoredMNIST、PACS 和 TerraIncognita，涵盖多种评估协议。

实验结果

研究问题

• RQ1 多目标优化框架能否在不依赖启发式惩罚权重的情况下缓解 ERM 与 OOD 泛化之间的权衡？
• RQ2 避免对原始 IRM 目标的松弛化处理是否能更好地保留真实不变预测器？
• RQ3 PAIR 是否能在存在梯度冲突的非凸、真实世界深度学习设置中实现帕累托最优解？
• RQ4 与现有 SOTA 方法（如 IRM、GroupDRO、Fishr）相比，PAIR 在 ERM 与 OOD 泛化性能方面表现如何？
• RQ5 PAIR 是否对不同的数据划分和验证协议（包括训练域与测试域验证）具有鲁棒性？

主要发现

• PAIR 在 Wilds 基准上实现了最先进的 OOD 泛化性能，在所有数据集上均优于 IRM、GroupDRO 和 Fishr。
• 在 PACS 数据集上采用训练域验证时，PAIR-s 达到 85.1% 的平均 OOD 准确率，较 IRM 提升 7.3%。
• 在 ColoredMNIST 数据集上采用测试域验证时，PAIR-s 达到 69.0% 的平均 OOD 准确率，较 IRM 提升 2.9%。
• PAIR 在不降低 ERM 准确率的前提下持续提升 OOD 性能，展现出有效的权衡管理能力。
• 该方法在所有评估协议下（包括训练域与测试域验证）均取得顶尖性能，且无需超参数调优。
• PAIR 在分布偏移下避免了 IRM 及其他方法的性能下降，尤其在 TerraIncognita 等具有挑战性的设置中表现更优。