[论文解读] Domain Generalization without Excess Empirical Risk

Ozan Şener, Vladlen Koltun|arXiv (Cornell University)|Aug 30, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本文提出了一种新颖的领域泛化方法，仅在保证经验风险保持最优的约束下最小化代理惩罚，从而防止分布内误差过大。通过利用信息容量-失真理论及类似Blahut-Arimoto的算法，该方法在不降低训练性能的前提下，显著提升了多种基准和模型上的分布外泛化能力。

ABSTRACT

Given data from diverse sets of distinct distributions, domain generalization aims to learn models that generalize to unseen distributions. A common approach is designing a data-driven surrogate penalty to capture generalization and minimize the empirical risk jointly with the penalty. We argue that a significant failure mode of this recipe is an excess risk due to an erroneous penalty or hardness in joint optimization. We present an approach that eliminates this problem. Instead of jointly minimizing empirical risk with the penalty, we minimize the penalty under the constraint of optimality of the empirical risk. This change guarantees that the domain generalization penalty cannot impair optimization of the empirical risk, i.e., in-distribution performance. To solve the proposed optimization problem, we demonstrate an exciting connection to rate-distortion theory and utilize its tools to design an efficient method. Our approach can be applied to any penalty-based domain generalization method, and we demonstrate its effectiveness by applying it to three examplar methods from the literature, showing significant improvements.

研究动机与目标

• 解决现有基于惩罚的领域泛化方法中联合优化导致经验风险增加的问题，从而损害分布内性能的失败模式。
• 指出联合最小化经验风险与惩罚可能导致风险过高，尤其是在惩罚项错位或难以优化时。
• 提出一种约束优化框架，仅在不损害经验风险最优性的情况下最小化惩罚。
• 在最小化领域泛化惩罚的同时，确保收敛至经验风险的驻点。
• 设计一种适用于任意基于惩罚的领域泛化方法的通用优化器，且无需修改网络架构。

提出的方法

• 将领域泛化问题建模为在模型保持经验风险驻点的约束下最小化代理惩罚。
• 采用带界、递减偏差的有偏梯度下降法，确保收敛至经验风险的驻点。
• 建立与信息容量-失真理论的正式联系，其中惩罚项充当失真，经验风险充当码率。
• 应用类似Blahut-Arimoto的迭代算法，高效求解约束优化问题。
• 设计一种更新规则，在保持与经验梯度方向有界偏离的同时最小化惩罚。
• 将该方法集成至现有模型（如CORAL、FISH、VRex）中，仅需极少修改，同时保留其原始训练动态。

实验结果

研究问题

• RQ1 我们能否在不损害泛化性能的前提下，消除领域泛化中的额外经验风险？
• RQ2 是否可能将经验风险的优化与惩罚最小化解耦，以防止在训练分布上的性能下降？
• RQ3 信息容量-失真理论能否为约束型领域泛化提供一个原则性框架？
• RQ4 在惩罚最小化过程中强制经验风险保持驻点，是否能在多种基准上带来一致的性能提升？
• RQ5 当应用于多种现有领域泛化模型时，该方法的有效性如何？

主要发现

• 所提方法在WILDS基准上显著提升了图像、自然语言、形式语言和图模态的分布外性能。
• 在WILDS基准上，即使ERM在实践中通常表现更优，该方法仍优于标准ERM以及现有的领域泛化方法（如CORAL、FISH和VRex）。
• 当应用于三种不同领域泛化模型（CORAL、FISH和VRex）时，该方法均实现了稳定提升，证明了其广泛适用性。
• 实证结果表明，该方法在保持或提升分布内准确率的同时减小了泛化差距，验证了‘额外经验风险损害性能’的假设。
• 基于Blahut-Arimoto的优化方法收敛稳定，可在不损害经验风险优化的前提下实现有效的惩罚最小化。
• 由于需要对每个领域分别计算梯度，该方法引入了额外的计算开销，但在大规模设置中性能增益足以证明其代价合理。