[论文解读] Kernelized Heterogeneous Risk Minimization

Jiashuo Liu, Zheyuan Hu+3 more|arXiv (Cornell University)|Oct 24, 2021

Domain Adaptation and Few-Shot Learning参考文献 23被引用 9

一句话总结

该论文提出了一种新型方法——核化异质风险最小化（KerHRM），通过基于核的方法，在神经正切特征（NTF）空间中联合优化潜在异质性探索与不变性学习。该方法利用NTK理论并引入不变梯度下降，无需显式环境标签即可实现对分布外（OOD）数据的鲁棒泛化，在合成数据集和真实世界基准上均取得了最先进性能。

ABSTRACT

The ability to generalize under distributional shifts is essential to reliable machine learning, while models optimized with empirical risk minimization usually fail on non-$i.i.d$ testing data. Recently, invariant learning methods for out-of-distribution (OOD) generalization propose to find causally invariant relationships with multi-environments. However, modern datasets are frequently multi-sourced without explicit source labels, rendering many invariant learning methods inapplicable. In this paper, we propose Kernelized Heterogeneous Risk Minimization (KerHRM) algorithm, which achieves both the latent heterogeneity exploration and invariant learning in kernel space, and then gives feedback to the original neural network by appointing invariant gradient direction. We theoretically justify our algorithm and empirically validate the effectiveness of our algorithm with extensive experiments.

研究动机与目标

• 解决真实世界数据中训练数据来自多个未标记源时的分布外（OOD）泛化挑战。
• 克服现有不变性学习方法依赖显式环境标签或依赖预训练有偏模型进行环境推断的局限性。
• 实现在表示空间中对潜在异质性发现与不变表示学习的联合优化，尤其适用于图像等复杂数据。
• 基于速率失真理论与核正交性，理论证明异质性探索与不变性学习之间的相互促进关系。
• 开发一种在训练过程中保留环境特异性特征的方法，避免因不变表示学习导致异质性消失。

提出的方法

• 利用神经正切核（NTK）理论将输入数据映射到神经正切特征（NTF）空间，实现深度神经网络训练的线性化。
• 提出一种新型不变梯度下降（IGD）算法，在NTF空间中执行不变性学习，并将不变梯度方向反馈至原始神经网络。
• 设计一种正交异质性感知核，以捕捉环境特异性特征并加速潜在异质性发现。
• 同时优化两个模块：NTF空间中的异质性探索模块 $\mathcal{M}_c$ 和不变性学习模块 $\mathcal{M}_p$。
• 在NTF空间中使用核回归推导聚类参数 $\Theta_j$ 的解析解，确保其与不变方向正交。
• 理论证明：在每个训练步骤中，可变特征空间的张成与不变方向正交，从而保证不变与可变分量之间的互斥性。

实验结果

研究问题

• RQ1 在无显式环境标签的情况下，能否在表示空间中有效发现并保留潜在异质性？
• RQ2 如何联合优化不变性学习与异质性探索以提升OOD泛化性能？
• RQ3 使用NTF空间与核方法是否能为不变与可变分量的联合优化提供理论保证？
• RQ4 所提出的正交核设计是否能增强对环境特异性特征的发现，同时保持不变性？
• RQ5 在真实世界与合成数据上，KerHRM与现有方法相比在OOD泛化性能上表现如何？

主要发现

• KerHRM在合成数据集与真实世界数据集上均实现了最先进的OOD泛化性能，优于现有的不变性学习与分布鲁棒优化方法。
• 理论分析证实：在每个训练步骤中，可变特征空间与不变方向正交，确保了不变与异质分量的可分性。
• 正交异质性感知核能有效捕捉环境特异性特征，防止训练过程中潜在异质性的消失。
• 实证结果表明，即使在缺乏环境标签的情况下，KerHRM仍能保持强大的分布偏移泛化能力。
• 该方法在训练过程中成功保留了可变特征，这对异质性发现至关重要，而标准深度学习模型在不变表示学习过程中通常会丢弃此类特征。
• 在NTF空间中对 $\mathcal{M}_c$ 与 $\mathcal{M}_p$ 的联合优化实现了相互促进，同时提升了异质性检测与不变性学习的效果。