[论文解读] Learning to Generalize across Domains on Single Test Samples

Zehao Xiao, Xiantong Zhen+2 more|arXiv (Cornell University)|Feb 16, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

该论文提出了一种元学习框架，使深度模型能够在无需微调或额外训练的情况下，仅使用单个测试样本即可适应未见过的目标领域。通过将适应过程建模为基于单个测试样本的变分贝叶斯推断，该模型在领域泛化基准上实现了最先进性能，且每个测试样本仅需一次前向传播。

ABSTRACT

We strive to learn a model from a set of source domains that generalizes well to unseen target domains. The main challenge in such a domain generalization scenario is the unavailability of any target domain data during training, resulting in the learned model not being explicitly adapted to the unseen target domains. We propose learning to generalize across domains on single test samples. We leverage a meta-learning paradigm to learn our model to acquire the ability of adaptation with single samples at training time so as to further adapt itself to each single test sample at test time. We formulate the adaptation to the single test sample as a variational Bayesian inference problem, which incorporates the test sample as a conditional into the generation of model parameters. The adaptation to each test sample requires only one feed-forward computation at test time without any fine-tuning or self-supervised training on additional data from the unseen domains. Extensive ablation studies demonstrate that our model learns the ability to adapt models to each single sample by mimicking domain shifts during training. Further, our model achieves at least comparable -- and often better -- performance than state-of-the-art methods on multiple benchmarks for domain generalization.

研究动机与目标

• 解决在训练期间无法获取目标领域数据的场景下的领域泛化问题。
• 使模型能够仅通过每个推理过程中的单个测试样本，有效适应未见过的目标领域。
• 消除测试时对微调或辅助网络的需求，保持领域泛化中严格的源-目标数据分离。
• 在低数据量和多领域目标场景下提升鲁棒性和泛化能力。

提出的方法

• 该方法采用元学习，在推理过程中训练模型以适应单个测试样本，训练期间模拟领域分布偏移。
• 将适应过程建模为变分贝叶斯推断问题，其中测试样本用于条件生成模型参数。
• 模型在测试时仅通过一次前向传播即可生成领域自适应的预测结果，无需任何微调或额外网络参数。
• 元学习器在源领域上进行训练，以学习一个模型权重的先验分布，使其能够快速适应任意单个目标样本。
• 通过结合源领域特征与单个目标样本的特征，该方法生成新的分类器原型，提升与目标分布的对齐性。
• 该方法在训练期间不访问目标数据，且在推理时无需对目标数据进行任何额外训练。

实验结果

研究问题

• RQ1 模型能否在训练期间无法访问目标数据的情况下，仅通过单个测试样本实现对未见过目标领域的适应？
• RQ2 元学习在实现领域泛化中快速、单样本适应方面有多高效？
• RQ3 变分贝叶斯推断是否能为基于单个测试样本的模型参数条件化提供一种鲁棒且可扩展的方法？
• RQ4 与现有测试时适应方法相比，该方法在低数据量或多重目标领域场景下的表现如何？
• RQ5 模型能否在不知道领域身份或无需批量目标数据的情况下，实现跨多样化领域的泛化？

主要发现

• 所提方法在PACS数据集上实现了最先进平均准确率（使用ResNet-50时为71.07%），在Office-Home数据集上达到66.02%的准确率，优于先前方法。
• 在PACS数据集上，使用ResNet-50时准确率达到87.51%，超过Wang等人（2021）的SOTA方法（后者使用128个目标样本进行微调）。
• 该方法在小样本或单样本目标批次下表现出更强的鲁棒性，而Tent等方法在此类场景下性能显著下降。
• 消融实验表明，元学习对适应能力至关重要，若缺少元学习，性能会明显下降。
• 模型在无领域标识符的情况下能有效泛化到多个目标领域，通过逐样本适应独立处理每个样本。
• 该方法在旋转MNIST和Fashion-MNIST数据集上也保持了强劲性能，证明其在多种数据集上的广泛适用性。