[论文解读] Learning Domain-Invariant Relationship with Instrumental Variable for Domain Generalization.

Junkun Yuan, Xu Ma+4 more|arXiv (Cornell University)|Oct 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 52被引用 6

一句话总结

该论文提出了一种名为DRIVE的新颖域泛化方法，利用工具变量（IVs）来学习输入特征与标签之间条件分布的域不变关系。通过将某一领域的特征视为其他领域的有效工具变量，DRIVE采用两阶段工具变量估计方法，提升了在未见领域上的泛化性能，在多个基准测试中达到了最先进水平。

ABSTRACT

Domain generalization (DG) aims to learn from multiple source domains a model that generalizes well on unseen target domains. Existing methods mainly learn input feature representations with invariant marginal distribution, while the invariance of the conditional distribution is more essential for unknown domain generalization. This paper proposes an instrumental variable-based approach to learn the domain-invariant relationship between input features and labels contained in the conditional distribution. Interestingly, with a causal view on the data generating process, we find that the input features of one domain are valid instrumental variables for other domains. Inspired by this finding, we design a simple yet effective framework to learn the Domain-invariant Relationship with Instrumental VariablE (DRIVE) via a two-stage IV method. Specifically, it first learns the conditional distribution of input features of one domain given input features of another domain, and then it estimates the domain-invariant relationship by predicting labels with the learned conditional distribution. Simulation experiments show the proposed method accurately captures the domain-invariant relationship. Extensive experiments on several datasets consistently demonstrate that DRIVE yields state-of-the-art results.

研究动机与目标

• 为解决现有域泛化方法局限于不变边缘分布而非更基础的不变条件分布的局限性。
• 探索数据生成的因果结构，并识别某一领域的输入特征作为其他领域的有效工具变量。
• 开发一种简单而有效的框架，利用工具变量估计来学习域不变关系，从而提升在未见领域上的泛化能力。
• 通过实证验证，所提方法比以往方法更准确地捕捉真实的域不变关系。

提出的方法

• 该方法将域泛化建模为因果推断问题，其中某一领域的输入特征作为工具变量，用于预测另一领域的标签。
• 采用两阶段工具变量方法：首先估计一个领域中特征在另一领域特征条件下的条件分布，然后利用该估计结果预测标签。
• 第一阶段建模了跨领域特征之间的关系，捕捉了领域特定的分布偏移，同时保留了不变的结构关系。
• 第二阶段使用估计的条件分布作为代理变量来预测标签，从而有效学习到域不变关系。
• 该框架基于因果识别理论，确保在合理假设下估计的关系在所有领域中保持不变。
• 该方法通过可微分的两阶段IV估计器近似实现端到端训练，使其可实际部署于深度学习架构中。

实验结果

研究问题

• RQ1 某一领域的输入特征能否作为另一领域中学习不变关系的有效工具变量？
• RQ2 通过工具变量估计学习域不变关系，是否相比基于边缘分布的方法能带来更好的未见领域泛化性能？
• RQ3 在受控的模拟设置中，所提方法能否准确捕捉真实的域不变关系？
• RQ4 所提方法在真实世界域泛化基准上的实证性能如何？

主要发现

• 所提出的DRIVE方法在多个标准域泛化基准上实现了最先进性能，优于现有方法。
• 模拟实验表明，DRIVE能准确捕捉域不变关系，验证了其理论基础。
• 该方法在多种不同数据集上均表现出一致的性能提升，表明其对域偏移和数据分布变化具有鲁棒性。
• 将某一领域的输入特征用作工具变量在理论上成立且实证有效，为域泛化提供了新视角。
• 两阶段IV估计框架成功地将领域特定的虚假相关性与数据中的不变结构关系解耦。