[论文解读] FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness for Semi-Supervised Learning

Zhuo Huang, Li Shen+3 more|arXiv (Cornell University)|Oct 25, 2023

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

FlatMatch 提出了一种新颖的半监督学习方法，通过最小化最坏情况模型（对抗性扰动后的模型）与原始模型之间的交叉锐度，来对齐有标签数据和无标签数据的学习动态。通过利用无标签数据来稳定并提升有标签数据的泛化能力，FlatMatch 在多个半监督学习基准上实现了最先进性能，同时提升了训练稳定性和泛化能力，尤其在低标签设置下表现更优。

ABSTRACT

Semi-Supervised Learning (SSL) has been an effective way to leverage abundant unlabeled data with extremely scarce labeled data. However, most SSL methods are commonly based on instance-wise consistency between different data transformations. Therefore, the label guidance on labeled data is hard to be propagated to unlabeled data. Consequently, the learning process on labeled data is much faster than on unlabeled data which is likely to fall into a local minima that does not favor unlabeled data, leading to sub-optimal generalization performance. In this paper, we propose FlatMatch which minimizes a cross-sharpness measure to ensure consistent learning performance between the two datasets. Specifically, we increase the empirical risk on labeled data to obtain a worst-case model which is a failure case that needs to be enhanced. Then, by leveraging the richness of unlabeled data, we penalize the prediction difference (i.e., cross-sharpness) between the worst-case model and the original model so that the learning direction is beneficial to generalization on unlabeled data. Therefore, we can calibrate the learning process without being limited to insufficient label information. As a result, the mismatched learning performance can be mitigated, further enabling the effective exploitation of unlabeled data and improving SSL performance. Through comprehensive validation, we show FlatMatch achieves state-of-the-art results in many SSL settings.

研究动机与目标

• 为解决半监督学习中，有标签数据收敛较快但损失曲面不稳定、尖锐的问题，即有标签与无标签数据之间泛化性能不匹配的问题。
• 通过利用无标签数据的丰富性来校准有标签数据的学习过程，从而克服标签稀缺的限制，提升泛化能力。
• 通过一种新颖的交叉锐度正则化方法，强制保持学习性能的一致性，弥合有标签与无标签数据训练之间的差距。
• 开发一种方法，提升模型的鲁棒性与稳定性，而不完全依赖于实例级别的一致性或伪标签。

提出的方法

• FlatMatch 通过在原始模型参数上施加对抗性扰动，构建最坏情况模型，以模拟失败情形，从而识别损失曲面中的不稳定区域。
• 计算无标签数据上最坏情况模型与原始模型之间的预测差异作为交叉锐度，该值作为正则化项。
• 通过最小化该交叉锐度，促使原始模型与最坏情况模型在无标签数据上达成一致预测，从而改善泛化并稳定训练过程。
• 一种高效的变体 FlatMatch-e 使用指数移动平均（EMA）来近似最坏情况模型，显著降低计算成本，同时保持性能。
• 该方法与现有半监督学习框架兼容，可无缝集成至标准训练流程中，无需修改网络架构。

实验结果

研究问题

• RQ1 通过对齐有标签与无标签数据之间的学习动态，能否提升半监督学习中的泛化能力？
• RQ2 最小化最坏情况模型与原始模型之间的交叉锐度，是否能带来更平坦的损失曲面并提升泛化性能？
• RQ3 即使在标签稀缺的情况下，是否也能利用无标签数据来稳定并提升有标签数据的学习效果？
• RQ4 与现有最先进半监督学习方法相比，该方法在稳定性、效率和准确性方面表现如何？

主要发现

• FlatMatch 在多种半监督学习基准（包括 CIFAR-10 和 CIFAR-100）上，在不同标签设置下均实现了最先进性能，优于 FixMatch 和 FreeMatch 等现有方法。
• 与 FixMatch 相比，FlatMatch 在有标签数据上产生了显著更平坦的损失曲面，表现为更平滑的二维等高线和一维损失曲线，表明泛化能力得到提升。
• 训练稳定性得到增强，表现为整个训练过程中梯度范数显著降低，尤其在与 FreeMatch 对比时更为明显。
• 控制扰动幅度的超参数 ρ 对性能有显著影响，最优性能出现在 ρ = 0.1；当 ρ 超过 0.25 时，性能出现显著下降。
• 高效变体 FlatMatch-e 在保持高准确率的同时，显著降低了每轮迭代的计算成本，证明 EMA 近似方法在效率与有效性方面均表现优异。