[论文解读] Latent Domain Learning with Dynamic Residual Adapters

Lucas Deecke, Timothy M. Hospedales+1 more|arXiv (Cornell University)|Jun 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用 4

一句话总结

本文提出动态残差适配器（DRA），一种用于潜在域学习的方法，使深度网络能够在无需域标注的情况下，自适应地将特征修正分配到多个未见域。通过使用基于输入内容动态路由残差更新的可学习门控机制，DRA 在小域和大域上均表现出鲁棒性能，在多域图像分类任务中优于标准模型和域监督基线模型。

ABSTRACT

A practical shortcoming of deep neural networks is their specialization to a single task and domain. While recent techniques in domain adaptation and multi-domain learning enable the learning of more domain-agnostic features, their success relies on the presence of domain labels, typically requiring manual annotation and careful curation of datasets. Here we focus on a less explored, but more realistic case: learning from data from multiple domains, without access to domain annotations. In this scenario, standard model training leads to the overfitting of large domains, while disregarding smaller ones. We address this limitation via dynamic residual adapters, an adaptive gating mechanism that helps account for latent domains, coupled with an augmentation strategy inspired by recent style transfer techniques. Our proposed approach is examined on image classification tasks containing multiple latent domains, and we showcase its ability to obtain robust performance across these. Dynamic residual adapters significantly outperform off-the-shelf networks with much larger capacity, and can be incorporated seamlessly with existing architectures in an end-to-end manner.

研究动机与目标

• 解决在缺乏域标注的情况下，多域学习中模型对大域过拟合的挑战。
• 使深度网络能够在无需人工标注域标签的情况下，学习到在多个潜在域上具有鲁棒性和泛化能力的特征。
• 开发一种高效、即插即用的模块，可无缝集成到现有架构中，支持端到端训练。

提出的方法

• 提出动态残差适配器（DRA），一种可学习的门控机制，能够根据输入特征动态地将残差修正分配到不同域。
• 采用可微分的路由机制，使每一层能够根据输入内容自适应地激活多个残差路径。
• 采用带有可学习参数 $ h_{\alpha_k} $ 的残差适配器模块，其中门控 $ g_k $ 决定每条路径的贡献度。
• 采用受风格迁移启发的增强策略，以提升泛化能力和域鲁棒性。
• 端到端训练整个模型，实现特征提取与域感知路由的联合优化。
• 可视化各层的激活路径，表明语义相似的域（如照片和艺术绘画）在门控激活空间中表现出相似的激活模式。

实验结果

研究问题

• RQ1 深度网络是否能够在无域标注的情况下，泛化到多个潜在域？
• RQ2 模型如何在保持对小样本、代表性不足域性能的同时，避免对大域的过拟合？
• RQ3 动态自适应路由机制是否能在多域学习中优于固定、域监督的路由方式？
• RQ4 所学习的门控路径在多大程度上反映了域之间的语义相似性？
• RQ5 即使在域标签可用的情况下，所提出的方法是否仍能超越域监督方法？

主要发现

• 在Visual Decathlon基准上，DRA模型实现了87.01%的加权平均准确率，比标准联合模型高出2.69个百分点。
• 在PACS数据集上，即使基线模型使用精心筛选的域标签，DRA仍表现更优。
• 该模型显著降低了小域上的性能下降：例如，飞机类别的准确率相比联合模型提升了20.59%。
• 激活路径的可视化显示，语义相似的域（如照片和艺术绘画）在门控激活空间中聚集在一起。
• 该方法在保持大域高性能的同时，显著提升了小域的性能，体现了有效的域平衡能力。
• 使用Gumbel-softmax强制离散门控分配导致性能下降，证实软性、动态路由比硬性聚类更有效。