[论文解读] FeatMatch: Feature-Based Augmentation for Semi-Supervised Learning

Chia-Wen Kuo, Chih‐Yao Ma+2 more|arXiv (Cornell University)|Jul 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用 9

一句话总结

FeatMatch 提出了一种基于学习的特征增强模块，通过利用类内和类间表示中的原型，在特征空间中生成复杂且多样的变换，显著提升了弱监督学习的性能。通过使用内存库实现高效的原型提取，并在一致性正则化框架下结合基于图像和基于特征的增强方法，该方法在多个基准上取得了当前最优结果，包括在 mini-ImageNet 上实现 17.44% 的绝对性能提升，以及在 DomainNet 上对分布偏移场景展现出强大的鲁棒性。

ABSTRACT

Recent state-of-the-art semi-supervised learning (SSL) methods use a combination of image-based transformations and consistency regularization as core components. Such methods, however, are limited to simple transformations such as traditional data augmentation or convex combinations of two images. In this paper, we propose a novel learned feature-based refinement and augmentation method that produces a varied set of complex transformations. Importantly, these transformations also use information from both within-class and across-class prototypical representations that we extract through clustering. We use features already computed across iterations by storing them in a memory bank, obviating the need for significant extra computation. These transformations, combined with traditional image-based augmentation, are then used as part of the consistency-based regularization loss. We demonstrate that our method is comparable to current state of art for smaller datasets (CIFAR-10 and SVHN) while being able to scale up to larger datasets such as CIFAR-100 and mini-Imagenet where we achieve significant gains over the state of art ( extit{e.g.,} absolute 17.44\% gain on mini-ImageNet). We further test our method on DomainNet, demonstrating better robustness to out-of-domain unlabeled data, and perform rigorous ablations and analysis to validate the method.

研究动机与目标

• 为解决传统基于图像的增强方法在弱监督学习中的局限性，这些方法受限于像素空间中的简单、局部变换。
• 通过利用数据集中的代表性原型，在抽象特征空间中实现更丰富且语义有意义的增强。
• 通过轻量级、内存高效的模块，结合类内和类间原型的知识，改进一致性正则化。
• 在真实分布偏移场景（如未标注数据来自偏移领域）下评估方法的鲁棒性，以 DomainNet 作为基准。
• 展示方法在小型数据集（CIFAR-10、SVHN）和大规模基准（CIFAR-100、mini-ImageNet、DomainNet）上的可扩展性与一致性能提升。

提出的方法

• 引入一种基于学习的特征精炼与增强模块（AugF），通过 k-means 聚类从整个数据集中提取的原型特征集应用软注意力机制。
• 原型存储在内存库中，并定期更新，实现高效访问且计算开销极小。
• 该模块通过关注类内和类间原型，生成精炼的特征表示，实现超越标准图像空间增强的复杂抽象变换。
• 在一致性正则化框架下，将基于图像的增强（如 RandAugment）与基于特征的增强相结合，最小化不同变换下的预测方差。
• 损失函数包含两个分量：全局一致性损失（$\mathcal{L}_{con-g}$）和特征级一致性损失（$\mathcal{L}_{con-f}$），分别由 $\lambda_g$ 和 $\lambda_f$ 加权。
• 采用超收敛学习率调度策略，先进行无 AugF 的预训练阶段，随后逐步学习率预热并衰减，以稳定训练过程。

实验结果

研究问题

• RQ1 基于特征的增强方法若能利用类间和类内原型，是否能在弱监督学习中超越标准图像空间增强，实现更好的泛化能力？
• RQ2 在 prior 方法表现不佳的大型基准（如 mini-ImageNet 和 CIFAR-100）上，该方法表现如何？
• RQ3 当未标注数据来自与标注数据分布偏移的领域时，该方法在多大程度上提升了鲁棒性？
• RQ4 关键超参数（如原型数量 $p_k$ 和原型更新间隔 $I_p$）的影响如何？
• RQ5 特征空间中的学习变换与图像空间中的变换有何不同？是否能生成更丰富且语义更明确的增强样本？

主要发现

• 在仅使用 4,000 个标注样本的 mini-ImageNet 上，FeatMatch 相较于最接近的 SOTA 方法实现了 17.44% 的绝对准确率提升。
• 在 CIFAR-100 上，该方法优于现有 SOTA 方法，表明其在更大、更复杂数据集上的可扩展性。
• 在 DomainNet 上，当 50% 的未标注数据来自偏移领域时，FeatMatch 相较于监督基线错误率降低 23%，相较弱监督基线降低 12%。
• 即使在严重领域偏移下，该方法仍保持强劲性能，当 75% 的未标注数据来自偏移领域时，错误率为 58.30%，相比基于图像的基线错误率降低 12.2%。
• 消融研究证实，基于特征的增强学习到了多样且非平凡的变换，t-SNE 可视化与生成样本的最近邻分析均支持此结论。
• 敏感性分析显示，$p_k$ 和 $I_p$ 的不同取值下性能下降极小，表明方法对超参数设置具有鲁棒性。