[论文解读] Feature Alignment and Restoration for Domain Generalization and Adaptation

Xin Jin, Cuiling Lan+2 more|arXiv (Cornell University)|Jun 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 61被引用 35

一句话总结

本文提出 FAR，是一个统一框架，在跨域执行特征对齐并从残差中恢复与任务相关的信息，以提升领域泛化（DG）和无监督域自适应（UDA）。

ABSTRACT

For domain generalization (DG) and unsupervised domain adaptation (UDA), cross domain feature alignment has been widely explored to pull the feature distributions of different domains in order to learn domain-invariant representations. However, the feature alignment is in general task-ignorant and could result in degradation of the discrimination power of the feature representation and thus hinders the high performance. In this paper, we propose a unified framework termed Feature Alignment and Restoration (FAR) to simultaneously ensure high generalization and discrimination power of the networks for effective DG and UDA. Specifically, we perform feature alignment (FA) across domains by aligning the moments of the distributions of attentively selected features to reduce their discrepancy. To ensure high discrimination, we propose a Feature Restoration (FR) operation to distill task-relevant features from the residual information and use them to compensate for the aligned features. For better disentanglement, we enforce a dual ranking entropy loss constraint in the FR step to encourage the separation of task-relevant and task-irrelevant features. Extensive experiments on multiple classification benchmarks demonstrate the high performance and strong generalization of our FAR framework for both domain generalization and unsupervised domain adaptation.

研究动机与目标

• 解释并解决跨域特征对齐过程中的判别能力丧失问题。
• 提出一个统一框架，将特征对齐与恢复步骤结合起来，以保留与任务相关的信息。
• 通过基于空间和通道注意的门控机制，使用双排序熵损失来对残差进行任务相关与任务无关的分离。
• 在DG和UDA基准上展示最新的性能，并分析设计选择。

提出的方法

• 对经注意选取的特征应用自适应特征对齐（FA），以降低跨域分布差异。
• 引入特征恢复（FR）步骤，从原始特征与对齐特征之间的残差中提取任务相关信息。
• 使用基于空间与通道注意的门控机制，将残差分解为任务相关的 R+ 与任务无关的 R−。
• 强制执行双排序熵损失，以提高恢复后的判别性并抑制干扰。
• 使用由领域特定专家教师引导的共享领域分类器进行训练，并在分类器之间使用一致性约束。
• 在训练阶段可选地使用每领域教师，带有 L1 一致性项；推理阶段使用单一共享分类器。

实验结果

研究问题

• RQ1 特征对齐是否能在不牺牲判别力的情况下提升对多个领域的泛化能力？
• RQ2 从对齐特征恢复任务相关信息是否能提升DG和UDA性能？
• RQ3 用双排序熵损失分离残差信息是否能增强类别之间的特征分离？
• RQ4 基于注意力的特征选择和教师引导训练如何影响跨域分类？

主要发现

• FAR在多个数据集的DG和UDA基准上超越了现有方法。
• 仅进行特征对齐可能降低判别力，但通过恢复可恢复判别能力。
• 双排序熵损失提高了任务相关与任务无关信息的解耦。
• 基于注意力的自适应特征选择用于FA比简单卷积映射得到更好的对齐效果。
• 使用共享分类器的教师引导训练提供性能提升并降低推理复杂度。
• 消融研究证实FR模块和DRE损失对整体性能的重要性。