[论文解读] Domain Generalization via Inference-time Label-Preserving Target Projections

Prashant Pandey, Mrigank Raman+2 more|arXiv (Cornell University)|Mar 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用 4

一句话总结

该论文提出了一种新颖的域泛化方法，通过在推理时将单个目标样本投影到源特征流形上来实现。该方法通过标签保持优化实现，学习域不变且类别保持的特征，并利用生成模型将目标输入投影到源特征流形上，从而在多个基准测试中实现最先进性能，准确率、鲁棒性和数据效率方面均优于现有方法。

ABSTRACT

Generalization of machine learning models trained on a set of source domains on unseen target domains with different statistics, is a challenging problem. While many approaches have been proposed to solve this problem, they only utilize source data during training but do not take advantage of the fact that a single target example is available at the time of inference. Motivated by this, we propose a method that effectively uses the target sample during inference beyond mere classification. Our method has three components - (i) A label-preserving feature or metric transformation on source data such that the source samples are clustered in accordance with their class irrespective of their domain (ii) A generative model trained on the these features (iii) A label-preserving projection of the target point on the source-feature manifold during inference via solving an optimization problem on the input space of the generative model using the learned metric. Finally, the projected target is used in the classifier. Since the projected target feature comes from the source manifold and has the same label as the real target by design, the classifier is expected to perform better on it than the true target. We demonstrate that our method outperforms the state-of-the-art Domain Generalization methods on multiple datasets and tasks.

研究动机与目标

• 提升机器学习模型在具有不同数据分布的未见目标域上的泛化能力。
• 解决现有域泛化方法的局限性，即在分类之外未利用目标样本。
• 从源数据中学习一个域不变且标签保持的特征空间，以实现对目标样本的有效投影。
• 通过在推理时将目标输入投影到源特征流形上来增强模型的鲁棒性和数据效率。
• 在多种评估设置下，于标准域泛化基准测试中展示卓越性能。

提出的方法

• 使用网络 $f_\theta$ 在源数据上学习标签保持的特征变换，使样本无论属于哪个域都能按类别聚类。
• 训练一个生成模型 $G_\phi$，使其将标准正态分布映射到源特征流形，同时保持类别结构。
• 在推理阶段，对 $G_\phi$ 的输入空间执行优化，将目标样本投影到源流形上，同时保持其类别标签。
• 使用从源流形获得的投影目标特征（与原始目标样本具有相同标签）进行分类。
• 通过标签保持目标优化投影过程，确保投影点既接近原始目标样本，又位于源特征分布内。
• 在训练阶段独立训练 $f_\theta$、$G_\phi$ 和分类器 $\mathcal{C}_\psi$，推理过程中不进行参数更新。

实验结果

研究问题

• RQ1 在推理时利用单个目标样本是否能超越标准分类，在未见域上实现更好的泛化？
• RQ2 在源数据上学习标签保持的特征变换是否能实现跨域特征更好对齐，同时保持类别信息？
• RQ3 通过优化将目标样本投影到源特征流形是否能提升分类准确率，相比直接推理？
• RQ4 与最先进域泛化方法相比，该方法在鲁棒性和数据效率方面表现如何？
• RQ5 在严重分布偏移和损坏（如 CIFAR-10-C 中的损坏）下，该方法是否能有效泛化？

主要发现

• 所提方法在多个域泛化基准测试中实现最先进性能，包括 PACS、Office-Home 和 Digits-DG。
• 在使用 ResNet-18 的 PACS 数据集上，该方法在 Sketch 域测试准确率达到 89.6%，优于先前方法。
• 该方法表现出强鲁棒性，在 CIFAR-10-C 的全部 19 种损坏类型（严重程度 5）下均保持高性能。
• 消融研究证实，$f_\theta$ 和 $G_\phi$ 两个组件均至关重要，任一组件移除后性能显著下降。
• 与基线方法相比，该方法更具数据效率，在源数据有限时仍表现出优越性能。
• 推理时的优化过程稳定且对超参数选择不敏感，在不同迭代次数和停止点下均保持一致性能。