[论文解读] MetaAlign: Coordinating Domain Alignment and Classification for Unsupervised Domain Adaptation

Guoqiang Wei, Cuiling Lan+2 more|arXiv (Cornell University)|Mar 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 66被引用 6

一句话总结

MetaAlign 提出了一种元优化策略，用于在无监督域自适应（UDA）中协调域对齐和分类目标，确保训练过程中两者的梯度方向一致。通过将域对齐视为元训练任务，将分类视为元测试任务，MetaAlign 最大化梯度一致性，从而提升特征的可分性，并在图像分类、目标检测和域泛化基准上实现了最先进性能。

ABSTRACT

For unsupervised domain adaptation (UDA), to alleviate the effect of domain shift, many approaches align the source and target domains in the feature space by adversarial learning or by explicitly aligning their statistics. However, the optimization objective of such domain alignment is generally not coordinated with that of the object classification task itself such that their descent directions for optimization may be inconsistent. This will reduce the effectiveness of domain alignment in improving the performance of UDA. In this paper, we aim to study and alleviate the optimization inconsistency problem between the domain alignment and classification tasks. We address this by proposing an effective meta-optimization based strategy dubbed MetaAlign, where we treat the domain alignment objective and the classification objective as the meta-train and meta-test tasks in a meta-learning scheme. MetaAlign encourages both tasks to be optimized in a coordinated way, which maximizes the inner product of the gradients of the two tasks during training. Experimental results demonstrate the effectiveness of our proposed method on top of various alignment-based baseline approaches, for tasks of object classification and object detection. MetaAlign helps achieve the state-of-the-art performance.

研究动机与目标

• 为解决无监督域自适应（UDA）中域对齐与分类任务之间的优化不一致问题，其中冲突的梯度方向会降低性能。
• 开发一种通用的、基于元学习的策略，以对齐域对齐与分类目标的优化轨迹。
• 在保持域对齐的同时提升特征可分性，增强对未见目标域的泛化能力。
• 在包括图像分类、目标检测和域泛化在内的多种视觉任务中验证该方法的有效性。

提出的方法

• MetaAlign 在元学习范式中将域对齐视为元训练任务，将分类视为元测试任务。
• 通过最大化两个任务梯度的内积来优化共享网络参数，促进协同优化。
• 该方法可作为插件直接应用于现有域对齐基线模型（如 DANN、GVB 和 SW-DA），无需修改网络结构。
• 理论分析表明，该梯度内积最大化可强制两项目标优化方向的一致性。
• 该方法具有通用性，兼容对抗性域对齐与统计分布对齐方法。
• 通过特征可视化与 t-SNE 分析验证，MetaAlign 能够促使模型在具有判别性的、与物体相关的区域实现更优的对齐。

Figure 1: Illustration of our MetaAlign strategy which aims to encourage the optimization consistency between the domain alignment task and the object classification task for efficient UDA. (a) Previous approaches directly combine the optimization objective functions of the two tasks together ( i .

实验结果

研究问题

• RQ1 域对齐与分类任务之间的优化不一致性如何影响 UDA 的性能？
• RQ2 是否可以利用元优化来协调域对齐与分类目标的训练动态？
• RQ3 强制域对齐与分类任务之间的梯度一致性是否能提升 UDA 中的特征可分性与泛化能力？
• RQ4 MetaAlign 是否能在包括图像分类、目标检测和域泛化在内的多种视觉任务中有效应用？

主要发现

• 在 VOC→Watercolor2k 目标检测 UDA 基准上，MetaAlign 将 SW-DA 基线的 mAP 提升了 1.9%（3.5%）。
• 在 Office-Home 和 Office31 数据集上，将 MetaAlign 应用于 GVB 模型可实现最先进性能，优于原始 GVB 及先前的 SOTA 方法。
• 在 PACS 数据集的域泛化任务中，DANNPE+MetaAlign 的准确率比 DANNPE 高 1.2%，并超越了此前的 SOTA 方法，尤其在具有挑战性的 Sketch 域上表现更优。
• Grad-CAM 可视化结果表明，MetaAlign 将域对齐聚焦于与物体相关的区域，提升了对齐与分类的相关性。
• t-SNE 可视化显示，MetaAlign 在特征空间中生成了更紧密、更易分离的聚类，表明其提升了域对齐效果与特征紧凑性。
• 该方法在多个 UDA 基线与任务中均表现有效，展现出强大的泛化能力与插件兼容性。

Figure 2: Two representative domain alignment based UDA frameworks. (a) DANN. (b) MMD.