[论文解读] Network Architecture Search for Domain Adaptation

Yichen Li, Xingchao Peng|arXiv (Cornell University)|Aug 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 81被引用 11

一句话总结

该论文提出NASDA，一种针对无监督域自适应（UDA）的可微神经架构搜索框架，通过多核最大均值差异（MK-MMD）联合优化源域验证损失与域差异。该方法通过搜索任务特定的神经架构，并结合多样化分类器的对抗性训练，实现对特征生成器的整合，从而在多个域自适应基准上取得最先进性能。

ABSTRACT

Deep networks have been used to learn transferable representations for domain adaptation. Existing deep domain adaptation methods systematically employ popular hand-crafted networks designed specifically for image-classification tasks, leading to sub-optimal domain adaptation performance. In this paper, we present Neural Architecture Search for Domain Adaptation (NASDA), a principle framework that leverages differentiable neural architecture search to derive the optimal network architecture for domain adaptation task. NASDA is designed with two novel training strategies: neural architecture search with multi-kernel Maximum Mean Discrepancy to derive the optimal architecture, and adversarial training between a feature generator and a batch of classifiers to consolidate the feature generator. We demonstrate experimentally that NASDA leads to state-of-the-art performance on several domain adaptation benchmarks.

研究动机与目标

• 通过设计一种任务特定的神经架构搜索框架，解决人工设计的深度网络在域自适应中表现欠佳的问题。
• 在架构搜索过程中，同时最小化源域验证损失与源域和目标域之间的域差异。
• 通过与一批多样化分类器进行对抗性训练，提升特征生成器的鲁棒性。
• 实现对跨域偏移数据的迁移学习最优神经架构的自动发现。

提出的方法

• 提出一种双层优化框架，其中架构搜索由源域验证损失和通过多核最大均值差异（MK-MMD）测量的域差异共同引导。
• 采用可微神经架构搜索（DARTS风格）将离散的搜索空间松弛为连续空间，从而实现对架构参数的基于梯度的优化。
• 利用搜索得到的架构所衍生的特征生成器生成域不变特征，并在再生核希尔伯特空间中最小化域差异。
• 引入特征生成器与一批分类器之间的对抗性训练，以提升泛化能力，其灵感来源于最大分类器差异（MCD）框架。
• 采用两阶段训练流程：第一阶段，在源域验证损失和域差异上进行联合监督的架构搜索；第二阶段，通过对抗性训练对特征生成器进行整合。
• 使用T-SNE可视化验证训练过程中分类器的差异，从而验证对抗性训练阶段的有效性。

实验结果

研究问题

• RQ1 能否设计一种神经架构搜索框架，专门针对域自适应而非通用分类任务进行优化？
• RQ2 同时最小化源域验证损失与域差异如何提升迁移性能？
• RQ3 与一组多样化分类器进行对抗性训练是否能增强无监督域自适应中特征生成器的鲁棒性与泛化能力？
• RQ4 所提出的NASDA框架是否能在标准基准上超越现有的基于NAS的模型和最先进域自适应方法？

主要发现

• NASDA在多个无监督域自适应基准上实现了最先进性能，优于现有的基于NAS的模型和SOTA方法。
• 与多样化分类器进行对抗性训练显著提升了目标域准确率，同时对源域性能影响极小。
• T-SNE可视化结果表明，分类器在训练过程中呈现发散趋势，验证了对抗性训练策略在促进多样性方面的有效性。
• 增加分类器数量可进一步提升目标域准确率，但计算成本呈二次方增长，因此选择N=4作为实际性能与效率的折中方案。
• 使用多核MMD衡量域差异，相比单核方法，能更有效地对齐源域与目标域特征。