[论文解读] Domain Generalization via Multidomain Discriminant Analysis

Shoubo Hu, Kun Zhang+2 more|arXiv (Cornell University)|Jul 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用 11

一句话总结

本文提出多域判别分析（MDA），一种基于核函数的域泛化方法，通过最小化类特定域差异并最大化类间可分性，学习一种域不变的特征变换。MDA在合成数据集和真实世界基准（如Office+Caltech与VLCS）上优于现有方法，尤其在类别先验变化的情况下表现更稳健，且无需假设域之间类别边缘分布或条件分布稳定。

ABSTRACT

Domain generalization (DG) aims to incorporate knowledge from multiple source domains into a single model that could generalize well on unseen target domains. This problem is ubiquitous in practice since the distributions of the target data may rarely be identical to those of the source data. In this paper, we propose Multidomain Discriminant Analysis (MDA) to address DG of classification tasks in general situations. MDA learns a domain-invariant feature transformation that aims to achieve appealing properties, including a minimal divergence among domains within each class, a maximal separability among classes, and overall maximal compactness of all classes. Furthermore, we provide the bounds on excess risk and generalization error by learning theory analysis. Comprehensive experiments on synthetic and real benchmark datasets demonstrate the effectiveness of MDA.

研究动机与目标

• 解决分类任务中的域泛化问题，其中类别先验和类别条件分布均在不同域之间发生变化。
• 开发一种不依赖于严格假设（如边缘分布或条件分布稳定）的方法。
• 通过学习一种最大化类间可分性并最小化类内域差异的特征变换，提升模型在未见目标域上的泛化能力。
• 对基于核函数的域泛化方法进行理论分析，推导泛化误差界。
• 在多种域偏移场景下，通过实证验证MDA的鲁棒性与优越性。

提出的方法

• 提出一种新度量——平均类差异，用于量化源域的判别能力，并指导特征学习。
• 将平均类差异与另外三种度量（平均域差异、类间可分性、整体紧凑性）整合进统一的目标函数，以实现特征变换。
• 采用核Fisher判别分析，学习一种域不变的特征空间，以最小化类内域间差异，同时最大化类间可分性。
• 依赖从输入空间到再生核希尔伯特空间的特征变换，以支持非线性适应。
• 采用正则化优化框架，平衡目标函数中四项度量之间的权衡。
• 基于学习理论，推导出过失风险和泛化误差的理论界，支持该方法的泛化能力。

实验结果

研究问题

• RQ1 能否开发一种域泛化方法，在类别先验和类别条件分布均发生域间变化时仍保持有效性？
• RQ2 如何优化特征变换，以在最大化类间可分性的同时最小化类内域差异？
• RQ3 类别先验变化对现有域泛化方法性能有何影响？如何提升其鲁棒性？
• RQ4 在一般域偏移假设下，能否为基于核函数的域泛化方法推导出泛化误差的理论界？
• RQ5 所提出的平均类差异度量与现有度量相比，在捕捉跨域判别特征方面表现如何？

主要发现

• 在Office+Caltech数据集上，MDA在所有目标域设置下均取得最高准确率，优于所有其他基于核的方法和1NN基线。
• 在VLCS数据集上，MDA在10种情形中的8种排名第一，展现出在复杂域偏移下的强大泛化能力。
• 在合成实验中，MDA在不同类别先验（P(Y)）设置下，显著优于DICA及其他方法，表现出更强的鲁棒性。
• 在Office+Caltech的(A, C)情形中，MDA是唯一一种优于1NN基线的基于核的方法，凸显其在严峻域偏移下的有效性。
• 理论分析表明，MDA提供了过失风险和泛化误差的界，支持其泛化能力。
• 在VLCS的10种情形中，SVM基线在6种情形下优于所有DG方法，提示基于SVM分类器的核方法或为未来研究的有前途方向。