[论文解读] Domain Generalization by Marginal Transfer Learning

Gilles Blanchard, Aniket Anand Deshmukh+3 more|arXiv (Cornell University)|Nov 21, 2017

Domain Adaptation and Few-Shot Learning参考文献 101被引用 146

一句话总结

本论文将领域泛化重新表述为在包含特征边缘分布的增广特征空间上的监督学习，并提出一个在两种数据生成模型下进行分析且在合成数据与真实数据上得到验证的普遍一致性核方法。

ABSTRACT

In the problem of domain generalization (DG), there are labeled training data sets from several related prediction problems, and the goal is to make accurate predictions on future unlabeled data sets that are not known to the learner. This problem arises in several applications where data distributions fluctuate because of environmental, technical, or other sources of variation. We introduce a formal framework for DG, and argue that it can be viewed as a kind of supervised learning problem by augmenting the original feature space with the marginal distribution of feature vectors. While our framework has several connections to conventional analysis of supervised learning algorithms, several unique aspects of DG require new methods of analysis. This work lays the learning theoretic foundations of domain generalization, building on our earlier conference paper where the problem of DG was introduced (Blanchard et al., 2011). We present two formal models of data generation, corresponding notions of risk, and distribution-free generalization error analysis. By focusing our attention on kernel methods, we also provide more quantitative results and a universally consistent algorithm. An efficient implementation is provided for this algorithm, which is experimentally compared to a pooling strategy on one synthetic and three real-world data sets.

研究动机与目标

• 在没有新任务标注数据的情况下，将预测模型推广到多个相关但分布不同的任务的动机。
• 提出一种边缘转移学习框架，将特征与边缘 X 分布一起增广，以使标准的监督学习方法成为可行。
• 建立两种统计生成模型用于领域泛化及其相关的风险和泛化分析。
• 在增广空间内构建一个无分布假设的核方法，并在两种模型下证明普遍一致性。

提出的方法

• 将领域泛化表述为在增广输入（P_X, x）上进行学习，以对未见任务给出预测。
• 定义对应于无偏生成模型（AGM）和两阶段生成模型（2SGM）的两种风险概念。
• 在 AGM 情况下，基于 Rademacher/ Campbell 测度框架推导无分布假设的泛化界限。
• 在增广特征空间引入核机器，并在 AGM 与 2SGM 下给出普遍一致性保证。
• 基于对随机傅里叶特征的扩展的高效实现，以及对随机特征近似误差的分析。
• 在一个合成数据集和三个真实世界数据集上进行经验评估，与 pooling 基线进行比较，并提供可自由获取的代码。

实验结果

研究问题

• RQ1 是否可以通过将输入增广为特征的边缘分布来形成一个标准监督学习问题，从而解决领域泛化？
• RQ2 在不同数据生成假设下，这类增广空间方法的泛化保证和风险界限是什么？
• RQ3 是否存在一个在无偏和两阶段生成模型下均具普遍一致性的基于核的 DG 算法？
• RQ4 在合成数据和真实世界的领域泛化任务中，所提出的方法相对于 pool­ing 策略的表现如何？

主要发现

• 边缘转移学习视角将 DG 重构为在增广空间（包含边缘 X 分布）上的监督问题。
• 作者在 AGM 和 2SGM 下，为基于核的 DG 方法建立无分布假设的泛化界限与普遍一致性。
• 提供并分析了基于随机傅里叶特征的高效核实现及其近似误差。
• 在合成数据和三个真实世界数据集上，与 pooling 策略进行了经验验证，显示出有竞争力的性能。
• 用于实现该算法的代码已公开以便复现。