[论文解读] Domain Generalization via Invariant Feature Representation

Krikamol Muandet, David Balduzzi+1 more|arXiv (Cornell University)|Jan 10, 2013

Domain Adaptation and Few-Shot Learning参考文献 22被引用 582

一句话总结

本文提出域不变分量分析（DICA），一种基于核的方法，通过学习一种变换以最小化多个训练域之间的分布差异，同时保留输入与输出之间的条件关系。DICA 通过提取不变特征，提升了对未见域的泛化能力，在真实世界数据集（如流式细胞术和帕金森病远程监测）的分类与回归任务中，性能优于现有方法。

ABSTRACT

This paper investigates domain generalization: How to take knowledge acquired from an arbitrary number of related domains and apply it to previously unseen domains? We propose Domain-Invariant Component Analysis (DICA), a kernel-based optimization algorithm that learns an invariant transformation by minimizing the dissimilarity across domains, whilst preserving the functional relationship between input and output variables. A learning-theoretic analysis shows that reducing dissimilarity improves the expected generalization ability of classifiers on new domains, motivating the proposed algorithm. Experimental results on synthetic and real-world datasets demonstrate that DICA successfully learns invariant features and improves classifier performance in practice.

研究动机与目标

• 解决训练域与测试域在输入分布上存在差异但共享稳定条件关系的域泛化问题。
• 开发一种方法，使模型在无需访问测试域数据的情况下，也能泛化到此前未见过的域。
• 提取最小化域间分布差异的不变特征，同时保留预测关系。
• 为减少分布方差与提升新域上泛化误差之间的理论联系提供理论基础。
• 在统一的不变表示框架下，整合并推广现有方法如 KPCA、TCA 和 COIR。

提出的方法

• DICA 将基于核的优化问题公式化，以最小化多个域之间输入特征边缘分布的差异。
• 采用希尔伯特-施密特独立性准则（HSIC）来度量并最小化特征空间中跨域的分布差异。
• 通过约束变换以保持各域间条件分布 P(Y|X) 的一致性，从而保留输入与输出之间的函数关系。
• 利用表示定理将解表示为核展开形式，通过特征分解实现高效计算。
• DICA 通过在优化中同时引入域不变性和输出相关性约束，推广了 KPCA、TCA 和 COIR。
• 通过分布高斯过程回归将该算法扩展至回归任务，以建模输出分布中的个体间差异。

实验结果

研究问题

• RQ1 我们能否学习一种在多个训练域上保持不变的特征表示，同时保留条件关系 P(Y|X)？
• RQ2 最小化域间分布差异是否能提升模型在未见域上的泛化性能？
• RQ3 DICA 与现有方法（如 KPCA、TCA 和 COIR）之间有何关系？是否实现了推广？
• RQ4 分布方差与泛化误差之间的理论联系能否通过实证验证？
• RQ5 在输出空间中引入域间差异（例如通过分布高斯过程回归）是否能进一步提升性能？

主要发现

• 在帕金森病远程监测数据集中，DICA 在运动UPDRS评分和总UPDRS评分上的均方根误差（RMSE）最低，分别为 8.35 ± 0.82 和 10.02 ± 1.01，优于所有基线方法。
• 在流式细胞术分类任务中，与基于池化和分布SVM的方法相比，DICA 显著提升了对未见患者的泛化性能。
• 理论分析表明，新域上的泛化误差随分布方差增加而上升，验证了最小化域间差异的核心动机。
• DICA 推广了 KPCA、TCA 和 COIR，展示了其更广泛的应用潜力和统一的不变表示学习框架。
• 考虑个体间差异的分布高斯过程回归，相比标准池化方法的高斯过程回归，进一步提升了泛化性能。
• 实证结果证实，通过 DICA 减少域间差异，可使真实医疗应用中的模型更具鲁棒性和可迁移性。