[论文解读] Dynamic Domain Generalization

Zhishu Sun, Z. Shen+5 more|arXiv (Cornell University)|May 27, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出动态域泛化（DDG），一种新颖的无需训练的框架，通过推理时使用元调节器动态调整网络参数，使深度神经网络能够适应未知目标域。通过利用DomainMix模拟多样化域，并采用非对称核模板生成自适应参数，DDG在PACS、Office-Home和DomainNet基准上实现了最先进性能，且无需在目标数据上进行微调。

ABSTRACT

Domain generalization (DG) is a fundamental yet very challenging research topic in machine learning. The existing arts mainly focus on learning domain-invariant features with limited source domains in a static model. Unfortunately, there is a lack of training-free mechanism to adjust the model when generalized to the agnostic target domains. To tackle this problem, we develop a brand-new DG variant, namely Dynamic Domain Generalization (DDG), in which the model learns to twist the network parameters to adapt the data from different domains. Specifically, we leverage a meta-adjuster to twist the network parameters based on the static model with respect to different data from different domains. In this way, the static model is optimized to learn domain-shared features, while the meta-adjuster is designed to learn domain-specific features. To enable this process, DomainMix is exploited to simulate data from diverse domains during teaching the meta-adjuster to adapt to the upcoming agnostic target domains. This learning mechanism urges the model to generalize to different agnostic target domains via adjusting the model without training. Extensive experiments demonstrate the effectiveness of our proposed method. Code is available at: https://github.com/MetaVisionLab/DDG

研究动机与目标

• 解决静态域泛化模型在无微调情况下无法适应未知目标域的局限性。
• 开发一种无需训练的机制，实现在推理过程中动态调整模型参数，以提升对未见域的泛化能力。
• 通过解耦的静态-动态参数结构，分离域共享与域特定特征。
• 利用模拟的新域数据有效训练元调节器，避免依赖域标签或真实目标数据。

提出的方法

• 将网络参数分解为静态部分（通过标准训练学习）和动态部分（在推理时由元调节器调制）。
• 设计一种元调节器，利用实例嵌入作为输入，为每个输入实例生成动态系数。
• 使用非对称核模板通过低维线性组合形成动态参数，实现多样化且自适应的调制。
• 采用DomainMix通过源域间的凸插值模拟来自新未见域的数据，为元调节器提供多样化的训练信号。
• 训练元调节器以最小化在模拟域上的损失，使其能够泛化到真实未知目标域而无需微调。
• 通过t-SNE可视化和核幅值分析，验证动态系数的域感知行为及增强的核结构。

实验结果

研究问题

• RQ1 无需微调的无训练机制能否在未见目标域上实现对深度模型的动态自适应？
• RQ2 元调节器如何在无显式域标签的情况下学习生成域特定的参数调整？
• RQ3 DomainMix对新域的模拟在多大程度上提升了元调节器对真实未知目标域的泛化能力？
• RQ4 非对称核模板如何增强动态参数生成的表达能力和多样性？
• RQ5 与静态域泛化相比，动态自适应机制是否能带来更好的域不变特征学习？

主要发现

• DDG在PACS、Office-Home和DomainNet基准上实现了最先进性能，且无需在目标域上进行任何微调，优于现有域泛化方法。
• 消融研究显示，移除DomainMix会导致性能显著下降，证实其在为元调节器训练模拟多样化域方面起着关键作用。
• t-SNE可视化表明，即使无显式域监督，动态系数也能根据域分布实现域感知分离。
• 核幅值可视化显示，非对称核模板强化了卷积核的中心“骨架”，增强了特征学习能力。
• 动态网络学习到的特征比静态ResNet基线更加鲁棒和可泛化，体现在跨域特征聚类的t-SNE图中表现更优。
• 该方法通过在推理时学习通过参数扭转实现自适应，成功泛化到真实未知目标域，证明了无训练域自适应的可行性。