[论文解读] Feature-Critic Networks for Heterogeneous Domain Generalization

Yiying Li, Yongxin Yang+2 more|arXiv (Cornell University)|Jan 31, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用 74

一句话总结

该论文提出 Feature-Critic Networks，通过元学习一个辅助损失来训练一个对域与标签漂移具有鲁棒性的通用特征提取器，在异构域和同构域的泛化设置中进行评估。该方法提升了对未见域/类别的现成特征，并超过若干基线。

ABSTRACT

The well known domain shift issue causes model performance to degrade when deployed to a new target domain with different statistics to training. Domain adaptation techniques alleviate this, but need some instances from the target domain to drive adaptation. Domain generalisation is the recently topical problem of learning a model that generalises to unseen domains out of the box, and various approaches aim to train a domain-invariant feature extractor, typically by adding some manually designed losses. In this work, we propose a learning to learn approach, where the auxiliary loss that helps generalisation is itself learned. Beyond conventional domain generalisation, we consider a more challenging setting of heterogeneous domain generalisation, where the unseen domains do not share label space with the seen ones, and the goal is to train a feature representation that is useful off-the-shelf for novel data and novel categories. Experimental evaluation demonstrates that our method outperforms state-of-the-art solutions in both settings.

研究动机与目标

• 在目标域与已见域存在域偏移时，动机与解决域漂移问题。
• 提出一个学习到的辅助损失，用以引导特征提取朝向域不变表示。
• 扩展到目标域标签空间彼此独立的异构 DG。
• 证明现成特征在简单分类器下对未见域具备鲁棒性。

提出的方法

• 将源域分成虚拟的训练/验证域以模拟域漂移。
• 将模型分解为共享特征提取器 f_theta 和域特定分类器 g_phi；在各域使用一个通用的 f_theta。
• 引入一个学习到的 feature-critic h_omega，对提取的特征 F=f_theta(X) 进行操作，以提供训练 f_theta 的辅助损失。
• 通过带有监督损失的端到端训练特征提取器和分类器，同时通过衡量验证域改进的元损失来更新 h_omega。
• 设计 h_omega 为特征批次行的排列不变函数，例如集合嵌入（MLP 处理后的特征平均）或展平协方差，输出一个非负标量。
• 使用元学习循环（算法2），在元验证集上优化辅助损失以最大化改进。

实验结果

研究问题

• RQ1 如何训练特征提取器以对未知域具备泛化能力，即使标签空间可能不相同？
• RQ2 是否可以通过学习的辅助损失（feature-critic）引导特征学习，使其对域漂移具有鲁棒性，而无需目标域数据？
• RQ3 元学习 feature-critic 是否提升了常规 DG 和异构 DG 的性能？
• RQ4 在目标域数据有限或不可用时，使用 Feature-Critic 训练的现成特征与简单分类器（SVM/KNN）是否有效？
• RQ5 与现有方法相比，该方法在大规模异构 DG 基准（Visual Decathlon）以及标准 DG 基准（Rotated MNIST、PACS）上表现如何？

主要发现

• Feature-Critic 在异构 DG（Visual Decathlon）中，对跨域和分类器的性能通常优于基线。
• 该方法产生对目标域分类具有鲁棒性的现成特征，在目标数据受限或不可用时，使用简单分类器也能实现强分类。
• 在同构 DG 设置（Rotated MNIST、PACS）中，Feature-Critic 超过了若干先前的 DG 方法，并在不同数据划分和少样本/少-shot 情况下保持竞争力。
• 在各项实验中，学习到的辅助损失在训练中不断适应，元损失分析显示收敛与稳定，随着 critic 吸收有用的泛化知识。
• 该方法对大规模 DG 基准（VD）表现出可扩展性，并相较于传统的 ImageNet 特征和标准聚合基线显示出持续的增益。