[论文解读] Semi-Supervised Domain Generalization with Stochastic StyleMatch

Kaiyang Zhou, Chen Change Loy+1 more|arXiv (Cornell University)|Jun 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 48被引用 15

一句话总结

本文提出StyleMatch，一种半监督域泛化方法，通过引入随机权重建模和基于风格增强的多视角一致性学习，对FixMatch进行改进。该方法在SSDG基准上取得最先进性能，显著优于FixMatch和域泛化基线方法，尤其在低标签设置下表现突出。

ABSTRACT

Ideally, visual learning algorithms should be generalizable, for dealing with any unseen domain shift when deployed in a new target environment; and data-efficient, for reducing development costs by using as little labels as possible. To this end, we study semi-supervised domain generalization (SSDG), which aims to learn a domain-generalizable model using multi-source, partially-labeled training data. We design two benchmarks that cover state-of-the-art methods developed in two related fields, i.e., domain generalization (DG) and semi-supervised learning (SSL). We find that the DG methods, which by design are unable to handle unlabeled data, perform poorly with limited labels in SSDG; the SSL methods, especially FixMatch, obtain much better results but are still far away from the basic vanilla model trained using full labels. We propose StyleMatch, a simple approach that extends FixMatch with a couple of new ingredients tailored for SSDG: 1) stochastic modeling for reducing overfitting in scarce labels, and 2) multi-view consistency learning for enhancing domain generalization. Despite the concise designs, StyleMatch achieves significant improvements in SSDG. We hope our approach and the comprehensive benchmarks can pave the way for future research on generalizable and data-efficient learning systems. The source code is released at \url{https://github.com/KaiyangZhou/ssdg-benchmark}.

研究动机与目标

• 为解决在多个源域上使用有限标注数据训练域泛化模型的挑战。
• 识别现有域泛化与半监督学习方法在应用于半监督域泛化（SSDG）时的局限性。
• 设计一个统一框架，在存在域偏移和标注稀缺的情况下，同时提升模型泛化能力与数据效率。
• 通过在两个新构建的SSDG基准上进行全面消融实验与基准测试，评估所提组件的有效性。

提出的方法

• 通过引入随机权重建模扩展FixMatch，将分类器权重参数化为高斯分布，隐式学习模型集成并减少在小规模标注集上的过拟合。
• 提出一种多视角一致性学习框架，通过风格增强引入第三个视角，强制原始图像、强增强视图与风格迁移图像之间的预测一致性。
• 从学习到的权重分布中进行随机采样，生成多样化预测，提升模型鲁棒性与不确定性校准能力。
• 采用风格迁移作为增强策略，通过对齐不同图像风格的特征分布，构建域不变表示。
• 采用置信度阈值机制进行伪标签生成，仅使用高置信度预测来监督未标注数据。
• 结合强增强与风格增强，提升域泛化能力，同时保持同一样本在多个视图间的一致性。

实验结果

研究问题

• RQ1 现有域泛化方法在有限标签的半监督设置下表现如何？其性能不佳的原因是什么？
• RQ2 最先进的半监督学习方法（如FixMatch）在SSDG设置下可适配到何种程度？其关键局限性是什么？
• RQ3 随机权重建模在低数据SSDG场景下如何提升泛化能力并减少过拟合？
• RQ4 结合风格增强的多视角一致性学习对模型在多样化域上的鲁棒性与性能有何影响？
• RQ5 源域数量如何影响所提方法的性能，尤其是在极端低标签设置下？

主要发现

• 在PACS数据集上，当每类仅有10个标注样本时，StyleMatch达到80.41%的准确率，显著优于FixMatch（77.12%）和单源基线（53.55%）的低标签设置。
• 在每类10个标签、源域数从2增至3时，结合风格增强的多视角一致性学习带来5.91%的性能提升，显著优于FixMatch，表明其在低数据设置下贡献更大。
• 随机权重建模有效减少过拟合：StyleMatch在整个训练过程中，过度自信率始终低于伪标签准确率，而FixMatch中过度自信率则超过准确率。
• 消融实验表明，结合强增强（$T_{strong}$）与风格增强（$T_{style}$）可取得最佳性能（在PACS上使用10个标签时准确率达80.41%），优于单独使用任一方法。
• 即使在单源设置下（$K=1$），StyleMatch仍较FixMatch提升3.74%（达57.29%），证明实例级风格混合的有效性。
• StyleMatch与全标签模型（oracle）之间的性能差距较小，表明该方法能有效利用未标注数据，逼近完全监督下的性能表现。