[论文解读] Domain Generalization using Causal Matching

Divyat Mahajan, Shruti Tople+1 more|arXiv (Cornell University)|Jun 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 65被引用 81

一句话总结

本文认为基于类别条件的领域不变性对于领域泛化来说不足，并提出通过匹配实现的因果、基于对象的不变性；它引入 MatchDG 和 MDGHybrid 来学习在跨域对齐同一对象输入的表征，从而在领域外精度方面具有竞争力。

ABSTRACT

In the domain generalization literature, a common objective is to learn representations independent of the domain after conditioning on the class label. We show that this objective is not sufficient: there exist counter-examples where a model fails to generalize to unseen domains even after satisfying class-conditional domain invariance. We formalize this observation through a structural causal model and show the importance of modeling within-class variations for generalization. Specifically, classes contain objects that characterize specific causal features, and domains can be interpreted as interventions on these objects that change non-causal features. We highlight an alternative condition: inputs across domains should have the same representation if they are derived from the same object. Based on this objective, we propose matching-based algorithms when base objects are observed (e.g., through data augmentation) and approximate the objective when objects are not observed (MatchDG). Our simple matching-based algorithms are competitive to prior work on out-of-domain accuracy for rotated MNIST, Fashion-MNIST, PACS, and Chest-Xray datasets. Our method MatchDG also recovers ground-truth object matches: on MNIST and Fashion-MNIST, top-10 matches from MatchDG have over 50% overlap with ground-truth matches.

研究动机与目标

• 挑战基于类别条件的领域不变性是否足以实现领域泛化。
• 引入一个结构化因果模型以捕捉同一类别内的变化与对象级稳定性。
• 在观测到对象时提出一个理想的完美匹配正则化项。
• 开发 MatchDG，在对象未被观测时近似实现基于对象的匹配。
• 扩展到 MDGHybrid，利用数据增强作为完美对象匹配。

提出的方法

• 通过稳定的因果特征 X_C 与领域相关特征 X_A 来建模数据生成，以定义基于对象的不变性。
• 构建一个理想的不变性：对于来自同一个对象的输入，表示在跨域上应相同，即 G(X) 在给定 O 的条件下对齐跨域的 X_C。
• 推导一个完美匹配正则化项，在保持预测能力的同时，最小化同一对象在跨域中的表示距离。
• 提出 MatchDG：一个两阶段的迭代算法，先通过对比学习在没有 ERM 损失的情况下学习表示，然后学习基于对象的匹配以对分类器进行正则化。
• 通过将来自数据增强的已知对象匹配作为额外正则化项，将 MatchDG 扩展为 MDGHybrid。
• 提供理论证明，表明标准的领域不变方法无法捕获 X_C，而所提出的完美匹配目标指向真正的因果特征。

实验结果

研究问题

• RQ1 由于稳定特征中的同类变异，基于类别条件的域不变性是否也会在未见域上泛化失败？
• RQ2 在对象未被观察时，如何识别或近似跨域对齐的对象级不变性？
• RQ3 强制同一对象的表示一致性的基于匹配的正则化是否能提升域外泛化？
• RQ4 数据增强能否提供可靠的完美匹配以增强基于对象的匹配（MDGHybrid）并改善泛化？
• RQ5 在旋转的 MNIST、Fashion-MNIST、PACS、Chest X-ray 等基准数据集上，MatchDG 与 MDGHybrid 相对于最先进的领域泛化方法表现如何？

主要发现

• 当稳定特征分布在不同领域之间存在差异时，基于类别条件的不变性不足以实现领域泛化。
• 从对象为中心的不变性在理论上可以通过对因果特征 X_C 进行条件化来实现领域泛化的预测。
• MatchDG，一种结合迭代对比学习和匹配的两阶段方法，在 Rotated MNIST、Fashion-MNIST、PACS 和 Chest X-ray 数据集上实现具有竞争力的域外准确率。
• 在具有已知对象匹配的数据集上，MatchDG 还能恢复接近真实匹配的结果，具有显著的重叠度（前十名匹配的重叠度超过 50%）。
• MDGHybrid 利用数据增强提供完美对象匹配，进一步提升实际表现。