[论文解读] Model-Based Domain Generalization

Alexander Robey, George J. Pappas+1 more|arXiv (Cornell University)|Feb 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 163被引用 6

一句话总结

本文提出了一种新型框架——基于模型的域泛化（MBDG），通过强制学习数据变换的不变性，提升分布外泛化性能。通过将域偏移建模为生成变换，并利用非凸对偶理论求解约束统计学习问题，MBDG 在 ColoredMNIST、Camelyon17-WILDS 和 PACS 等基准上实现了最先进性能，准确率最高提升达 30 个百分点。

ABSTRACT

Despite remarkable success in a variety of applications, it is well-known that deep learning can fail catastrophically when presented with out-of-distribution data. Toward addressing this challenge, we consider the domain generalization problem, wherein predictors are trained using data drawn from a family of related training domains and then evaluated on a distinct and unseen test domain. We show that under a natural model of data generation and a concomitant invariance condition, the domain generalization problem is equivalent to an infinite-dimensional constrained statistical learning problem; this problem forms the basis of our approach, which we call Model-Based Domain Generalization. Due to the inherent challenges in solving constrained optimization problems in deep learning, we exploit nonconvex duality theory to develop unconstrained relaxations of this statistical problem with tight bounds on the duality gap. Based on this theoretical motivation, we propose a novel domain generalization algorithm with convergence guarantees. In our experiments, we report improvements of up to 30 percentage points over state-of-the-art domain generalization baselines on several benchmarks including ColoredMNIST, Camelyon17-WILDS, FMoW-WILDS, and PACS.

研究动机与目标

• 为解决深度学习中分布外（OOD）失效的关键挑战，尤其是在医疗影像和自动驾驶等安全关键应用中的问题。
• 克服现有域泛化方法的局限性，这些方法通常无法超越经验调优的经验风险最小化（ERM）性能。
• 在协变量偏移与变换不变性的模型下，将域泛化形式化为半无限约束优化问题。
• 开发一种理论基础坚实、收敛的算法，利用非凸对偶理论实现最优域泛化解的紧密近似。
• 通过实证验证，强制对无监督、生成式域变换保持不变性，可在标准基准上带来显著性能提升。

提出的方法

• 该方法使用生成变换 $ G(x,e) $ 建模域间差异，其中 $ e $ 表示颜色、亮度或旋转等域特定因素。
• 将域泛化表述为半无限约束优化问题，通过变换模型在所有域上强制预测器的不变性。
• 应用非凸对偶理论，推导出具有可证明、数据相关边界约束的无约束对偶问题。
• 提出一种原始-对偶风格算法，联合训练分类器与生成模型（采用 MUNIT 架构），在域间映射数据的同时强制不变性。
• 生成模型在训练域的无标签数据上进行训练，以学习解耦的、多模态的变换，无需真实域标签。
• 该方法使用经验参数化对偶来近似约束问题，支持端到端训练并具备收敛性保证。

实验结果

研究问题

• RQ1 强制对学习到的、数据驱动的域变换保持不变性，是否能提升深度学习中的分布外泛化性能？
• RQ2 在协变量偏移与变换不变性的模型下，域泛化问题是否等价于一个约束统计学习问题？
• RQ3 能否利用非凸对偶理论，为域泛化问题推导出紧致的、与数据相关的对偶间隙边界？
• RQ4 基于经验对偶的原始-对偶算法是否在标准基准上优于现有的最先进域泛化方法？
• RQ5 在无法访问真实变换模型的情况下，仅在训练域的无标签数据上训练的生成模型，能在多大程度上捕捉域间差异？

主要发现

• 所提出的 MBDG 算法在多个基准上实现最先进性能，相比现有基线方法，准确率最高提升 30 个百分点。
• 在 ColoredMNIST 上，MBDG 达到 94.5% 的准确率，显著优于次佳方法的 64.5%。
• 在 Camelyon17-WILDS 上，MBDG 达到 76.3% 的准确率，较之前最先进方法（46.3%）提升 30 个百分点。
• 在 FMoW-WILDS 上，MBDG 达到 68.8% 的准确率，较先前最先进方法提升 15 个百分点。
• 在 PACS 上，MBDG 达到 86.7% 的准确率，优于此前最佳方法 10.5 个百分点。
• 即使真实域变换模型未知，该方法依然有效，因其能通过 MUNIT 模型从无标签训练数据中学习有效变换。