[论文解读] Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments

Yining Chen, Elan Rosenfeld+3 more|arXiv (Cornell University)|Jun 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 35被引用 4

一句话总结

本文提出了一种名为迭代特征匹配（IFM）的新算法，用于领域泛化，该算法在平滑协方差模型下，仅需 O(log dₛ) 个训练环境即可严格实现泛化，显著少于 IRM 或 ERM 所需的线性数量 dₛ。该方法通过迭代投影去除特征中的虚假变异，从而以高概率确保预测不变。

ABSTRACT

Domain generalization aims at performing well on unseen test environments with data from a limited number of training environments. Despite a proliferation of proposal algorithms for this task, assessing their performance both theoretically and empirically is still very challenging. Distributional matching algorithms such as (Conditional) Domain Adversarial Networks [Ganin et al., 2016, Long et al., 2018] are popular and enjoy empirical success, but they lack formal guarantees. Other approaches such as Invariant Risk Minimization (IRM) require a prohibitively large number of training environments -- linear in the dimension of the spurious feature space $d_s$ -- even on simple data models like the one proposed by [Rosenfeld et al., 2021]. Under a variant of this model, we show that both ERM and IRM cannot generalize with $o(d_s)$ environments. We then present an iterative feature matching algorithm that is guaranteed with high probability to yield a predictor that generalizes after seeing only $O(\log d_s)$ environments. Our results provide the first theoretical justification for a family of distribution-matching algorithms widely used in practice under a concrete nontrivial data model.

研究动机与目标

• 解决实践中广泛使用的分布匹配算法在领域泛化中缺乏理论保证的问题。
• 克服 IRM 的高环境复杂度问题，即使在简单模型中，IRM 也需 Ω(dₛ) 个环境。
• 在具有对抗性虚假特征协方差的非平凡、现实数据模型下，首次为分布匹配方法提供可证明的保证。
• 证明迭代特征投影可在亚线性、对数级环境复杂度下实现预测不变性。

提出的方法

• 提出一种迭代特征匹配（IFM）算法，将特征投影到虚假特征协方差跨环境所张成子空间的正交补空间上。
• 利用环境间成对协方差差异来估计虚假特征子空间，从而通过投影实现其去除。
• 对协方差差异矩阵进行奇异值分解（SVD），以提取投影到虚假子空间的矩阵。
• 使用正交投影矩阵对输入特征进行投影，以消除虚假成分，同时保留信号特征。
• 采用多层迭代过程，在网络多个层级上匹配特征分布，以提升鲁棒性。
• 在理想化假设下，基于协方差相减与 SVD 的简单算法（算法 2）仅需两个环境即可恢复不变预测器。

实验结果

研究问题

• RQ1 分布匹配算法能否在亚线性环境复杂度下实现可证明的领域泛化？
• RQ2 为何现有方法如 IRM 和 ERM 在环境数量为 o(dₛ) 时无法泛化？
• RQ3 迭代特征投影能否在去除跨环境虚假特征方面优于单层匹配？
• RQ4 是否存在一种数据模型，使得 IRM 和 ERM 即使在无限样本下也失败，而特征匹配方法在 O(log dₛ) 个环境中仍能成功？
• RQ5 在现实的特征协方差结构下，恢复不变预测器所需的最少环境数量是多少？

主要发现

• 在具有对抗性偏差的平滑协方差模型下，即使每个环境拥有无限数据，当环境数量为 o(dₛ) 时，ERM 和 IRM 均无法实现泛化。
• 所提出的 IFM 算法仅需 O(log dₛ) 个环境，即可以高概率实现泛化，首次为分布匹配方法提供了可证明的亚线性环境复杂度。
• 实验结果表明，IFM 在高斯分布和带噪 MNIST 数据集上均优于 ERM、IRM 和 CORAL，测试准确率相比基线最高提升 10%。
• 在多个层级（如全部或不相交的层级）匹配特征的性能优于仅在最终层匹配，其中 CORAL（匹配全部层级）在四层 MLP 上达到 77.9% 的准确率。
• 一种基于协方差相减与 SVD 的简单两环境算法（算法 2）在假设 3.2 下可精确恢复不变预测器，证明 ŵ = w*。
• 实验表明，即使数据有限，IFM 仍具有良好的泛化能力，所有实验均在单张 GPU 上于 10 分钟内完成。