[论文解读] Invariant Causal Mechanisms through Distribution Matching

Mathieu Chevalley, Charlotte Bunne+2 more|arXiv (Cornell University)|Jun 23, 2022

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

该论文提出 CausIRL，一种新颖的因果框架，通过分布匹配学习不变表示，无论域的数量如何，每个训练步骤仅计算一次分布距离，从而降低计算复杂度。该方法在多个基准测试中实现了领域泛化任务的最先进性能，显著提升了现有模型的准确率，同时在不变性与预测性能之间实现了更优的权衡。

ABSTRACT

Learning representations that capture the underlying data generating process is a key problem for data efficient and robust use of neural networks. One key property for robustness which the learned representation should capture and which recently received a lot of attention is described by the notion of invariance. In this work we provide a causal perspective and new algorithm for learning invariant representations. Empirically we show that this algorithm works well on a diverse set of tasks and in particular we observe state-of-the-art performance on domain generalization, where we are able to significantly boost the score of existing models.

研究动机与目标

• 开发一个统一的因果框架，用于不变表示学习，以解决现有方法的局限性。
• 降低不变性正则化的计算复杂度，该复杂度传统上随域数量的增加呈二次方增长。
• 通过一种更柔和的正则化方法，改善模型不变性与预测性能之间的权衡。
• 在多样化任务中展示广泛适用性，包括公平表示学习和领域泛化。
• 提供一种简单、非任务特定的方法，可轻松集成到现有深度学习流水线中。

提出的方法

• 该方法从因果视角出发，将不变表示学习建模为结构因果模型。
• 将不变性形式化为因果机制的属性，确保表示在不同域或环境之间保持稳定。
• 关键创新在于每个训练步骤仅计算两个批次之间的单一分布距离（如 CORAL 或 MMD），避免了对所有域组合计算成对距离的需要。
• 通过可微分损失应用正则化，匹配不同域之间的表示分布，从而在不进行显式对抗训练的情况下促进不变性。
• 该方法实现为一个即插即用的模块，与标准深度学习框架兼容，可轻松集成到现有模型中。
• 该方法在标准领域泛化基准和具有复杂分布偏移的真实世界数据集上均进行了评估。

实验结果

研究问题

• RQ1 因果框架能否统一需要不变表示的多样化任务，如领域泛化和公平表示学习？
• RQ2 当域的数量较大时，如何使不变性正则化计算更高效？
• RQ3 通过分布匹配强制实现的更柔和的不变性，是否相比硬性不变性约束能带来更好的性能-稳定性权衡？
• RQ4 所提出的方法能否在多样化数据集上实现领域泛化任务的最先进性能？
• RQ5 在具有复杂、未观测到的分布偏移的真实世界数据集上，该方法表现如何？

主要发现

• 在 DomainBed 基准上，CausIRL 与 CORAL 结合实现了 69.4% 的平均准确率，比表现最佳的基线方法（ERM）高出 0.7 个百分点。
• 在 VLCS 数据集上，CausIRL 与 CORAL 结合达到 78.2% 的准确率，比 CORAL 提高 0.5%，比 ERM 提高 1.4%。
• 在 Camelyon17 上，CausIRL 与 CORAL 结合实现了 62.7% 的准确率，在鲁棒性方面优于 ERM（尽管 ERM 的方差更高）。
• 在 RxRx1 上，CausIRL 与 MMD 结合实现了 28.9% 的准确率，略高于 MMD（28.2%），与 ERM（29.9%）相当，表明在复杂真实世界数据上表现强劲。
• 在 RxRx1 上，CausIRL 显著优于 IRM 和 GroupDRO，其中 IRM 准确率骤降至 9.9%，凸显其对复杂分布偏移的鲁棒性。
• 在 ColoredMNIST 上，CausIRL 与 MMD 结合实现了 63.7% 的准确率，比 ERM 提高 5.4%，比 IRM 提高 5.0%，表明在分布偏移下具有强大的泛化能力。