[论文解读] A Theory of Label Propagation for Subpopulation Shift

Tianle Cai, Ruiqi Gao+2 more|arXiv (Cornell University)|Feb 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 76被引用 4

一句话总结

本文提出了一种在子群体偏移设定下的领域自适应标签传播框架，利用教师分类器和对源域与目标域未标注数据的一致性正则化。通过引入扩展假设并优化一致性损失，该方法提升了泛化性能，并实现了可证明的有限样本保证，在实验中于源域和目标域上均优于教师模型。

ABSTRACT

One of the central problems in machine learning is domain adaptation. Unlike past theoretical work, we consider a new model for subpopulation shift in the input or representation space. In this work, we propose a provably effective framework for domain adaptation based on label propagation. In our analysis, we use a simple but realistic expansion assumption, proposed in \citet{wei2021theoretical}. Using a teacher classifier trained on the source domain, our algorithm not only propagates to the target domain but also improves upon the teacher. By leveraging existing generalization bounds, we also obtain end-to-end finite-sample guarantees on the entire algorithm. In addition, we extend our theoretical framework to a more general setting of source-to-target transfer based on a third unlabeled dataset, which can be easily applied in various learning scenarios. Inspired by our theory, we adapt consistency-based semi-supervised learning methods to domain adaptation settings and gain significant improvements.

研究动机与目标

• 解决目标域中存在源域未完全覆盖的子群体时的领域自适应问题。
• 开发一个理论基础坚实的框架，利用未标注数据实现从源域到目标域的有效标签传播。
• 为子群体偏移设定下的神经网络提供端到端的有限样本泛化保证。
• 将框架扩展至使用第三个未标注数据集的迁移学习设置，以提升鲁棒性。

提出的方法

• 该方法使用在源域上训练的教师分类器作为监督信号，即使其在目标域上的表现不佳。
• 引入基于邻域的一致性正则化项，以在源域和目标域的局部子群体中强制预测一致性。
• 该框架依赖于一个现实的“扩展”假设（Wei et al., 2021），以确保标签信息可在子群体间传播。
• 结合0-1一致性损失与教师在源数据上的预测，以及对两个领域未标注数据的一致性损失。
• 将方法扩展至包含第三个未标注数据集的三数据集设定，以实现更通用的源到目标迁移。
• 实验验证采用FixMatch结合分布对齐与混合精度训练，以提升Office-31和Office-Home数据集上的性能。

实验结果

研究问题

• RQ1 能否仅使用未标注数据，将源域的标签信息有效传播到存在子群体偏移的目标域？
• RQ2 在何种假设下，一致性正则化可提升在源域和目标域上的性能？
• RQ3 如何为子群体偏移场景下的神经网络推导出有限样本泛化边界？
• RQ4 该框架能否扩展至包含第三个未标注数据集的设定，以提升迁移能力？

主要发现

• 在使用FixMatch结合分布对齐时，该方法在目标域上实现了72.6%的测试准确率，相比未使用对齐的68.5%有所提升。
• 通过结合一致性正则化与教师监督，该框架提供了可证明的有限样本泛化保证。
• 理论分析表明，即使教师在目标域上表现不佳，标签传播仍能提升源域和目标域的性能。
• 扩展假设使模型能有效迁移到支持范围外的子群体，解决了传统分布匹配的局限性。
• 实证结果表明，当基于一致性的半监督学习被适配于领域自适应时，尤其在子群体偏移下，性能显著提升。
• 在子群体偏移场景下，该方法优于DANN和MDD等基线领域自适应模型，尤其在标注数据有限时表现更优。