[论文解读] Learning to Impute: A General Framework for Semi-supervised Learning

Weihong Li, Chuan-Sheng Foo+1 more|arXiv (Cornell University)|Dec 22, 2019

Domain Adaptation and Few-Shot Learning参考文献 51被引用 8

一句话总结

本文提出 Learning to Impute (L2I)，一种元学习框架，通过训练模型预测未标记数据的最优标签，使在这些预测标签上微调可提升泛化性能。通过将问题形式化为双层优化，L2I 在集成到 FixMatch 和 Mean-Teacher 等先进方法时，显著提升了半监督图像、文本和回归任务的性能，尤其在低标签设置下表现突出。

ABSTRACT

Recent semi-supervised learning methods have shown to achieve comparable results to their supervised counterparts while using only a small portion of labels in image classification tasks thanks to their regularization strategies. In this paper, we take a more direct approach for semi-supervised learning and propose learning to impute the labels of unlabeled samples such that a network achieves better generalization when it is trained on these labels. We pose the problem in a learning-to-learn formulation which can easily be incorporated to the state-of-the-art semi-supervised techniques and boost their performance especially when the labels are limited. We demonstrate that our method is applicable to both classification and regression problems including image classification and facial landmark detection tasks.

研究动机与目标

• 解决现有半监督学习（SSL）方法依赖启发式正则化且易受噪声伪标签过拟合的局限性。
• 通过学习直接生成能增强模型泛化能力的标签，而非依赖固定正则化策略，提出一种更直接的SSL方法。
• 通过设计通用、即插即用的框架，实现对分类、回归和结构化预测任务的广泛适用性。
• 在标注数据稀缺的低数据场景下提升性能，这是实际SSL应用中的关键挑战。
• 与当前最先进的SSL方法（如FixMatch、Mean-Teacher和MixMatch）无缝集成，从而提升其性能。

提出的方法

• 将标签插补问题形式化为双层优化：内层循环在插补标签上训练模型，外层循环优化插补函数，以提升在验证集上的泛化性能。
• 使用元学习器学习从未标记数据生成伪标签的更新规则，使得最终模型在验证集上误差更低。
• 将插补标签建模为神经网络输出（ψ）或可微参数（Ψθ），其中前者表现更优。
• 提出基于Hessian近似的近似更新规则，以降低计算成本，同时保持性能，实现约50%的训练加速。
• 通过将标准伪标签替换为学习到的插补标签，将L2I框架集成到现有SSL方法（如FixMatch（FM）、Mean-Teacher（MT）和MixMatch（MM））中。
• 将该方法应用于多样化任务：图像分类（CIFAR-10/100）、面部关键点检测（AFLW）和文本分类，证明其广泛适用性。

实验结果

研究问题

• RQ1 一种直接优化标签插补的元学习方法，相比启发式正则化，是否能在半监督学习中实现更好的泛化性能？
• RQ2 在仅有少量标注样本的情况下，L2I与FixMatch和Mean-Teacher等先进SSL方法相比性能如何？
• RQ3 将插补标签建模为网络输出而非可学习参数，是否能带来更好的泛化能力和鲁棒性？
• RQ4 在标签插补中使用基于Hessian的精确更新规则与近似更新规则之间，计算成本与性能的权衡如何？
• RQ5 L2I框架能否有效扩展至回归和文本分类任务，而不仅限于图像分类？

主要发现

• 在CIFAR-100上使用500个标注样本（每类1%）时，L2I与FixMatch结合将测试误差从基线FM的48.32%降低至44.97%，相对提升6.9%。
• 在AFLW面部关键点检测任务中使用91个标注样本（1%）时，L2I与Mean-Teacher结合将均方误差从12.80降至11.53，相对提升10%。
• 近似更新规则在性能上与精确版本相当，同时将训练时间减少约50%，使其适用于大规模应用。
• 在回归和图像分类任务中，将插补标签建模为网络输出（O）优于将其视为可学习参数（L），尤其在CIFAR-100上表现更优。
• 联合训练与验证集策略（使用重叠样本）优于分离策略（互斥集合），表明在插补过程中使用验证反馈可实现更好的泛化。
• L2I在多种任务中持续提升性能——包括图像分类、面部关键点检测和文本分类——证明其在低标签场景下的通用性与有效性。