[论文解读] Meta-Semi: A Meta-learning Approach for Semi-supervised Learning

Yulin Wang, Jiayi Guo+2 more|arXiv (Cornell University)|Jul 5, 2020

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

Meta-Semi 提出了一种元学习方法用于半监督学习，仅需调整一个额外的超参数，通过使用软伪标签动态重加权未标记样本，以最小化标记数据上的监督损失。该方法在 CIFAR-100 和 STL-10 上实现了最先进性能，在超参数设置下具有鲁棒性，并在温和条件下收敛至驻点。

ABSTRACT

Deep learning based semi-supervised learning (SSL) algorithms have led to promising results in recent years. However, they tend to introduce multiple tunable hyper-parameters, making them less practical in real SSL scenarios where the labeled data is scarce for extensive hyper-parameter search. In this paper, we propose a novel meta-learning based SSL algorithm (Meta-Semi) that requires tuning only one additional hyper-parameter, compared with a standard supervised deep learning algorithm, to achieve competitive performance under various conditions of SSL. We start by defining a meta optimization problem that minimizes the loss on labeled data through dynamically reweighting the loss on unlabeled samples, which are associated with soft pseudo labels during training. As the meta problem is computationally intensive to solve directly, we propose an efficient algorithm to dynamically obtain the approximate solutions. We show theoretically that Meta-Semi converges to the stationary point of the loss function on labeled data under mild conditions. Empirically, Meta-Semi outperforms state-of-the-art SSL algorithms significantly on the challenging semi-supervised CIFAR-100 and STL-10 tasks, and achieves competitive performance on CIFAR-10 and SVHN.

研究动机与目标

• 解决现有基于一致性正则化的半监督学习（SSL）方法中存在的超参数敏感性和高计算成本问题。
• 通过显式建模标记数据与未标记数据之间的关系，提升深度 SSL 中标记数据的利用效率与有效性。
• 减少 SSL 算法中可调超参数的数量，使其在标记数据稀缺的实际场景中更具实用性。
• 开发一种理论基础扎实、可收敛的方法，根据未标记样本对标记损失的影响动态重加权。

提出的方法

• 将问题形式化为双层元优化问题，通过使用软伪标签动态调整未标记样本的权重，以最小化标记损失。
• 提出一种高效近似方法，每轮迭代仅使用一次元梯度步长，计算近似最优的重加权系数。
• 基于近似解引入一种动态 0-1 加权策略，用于未标记样本，实现实际可部署的实现。
• 在元更新步骤中采用闭式解，即使在双层结构下也确保计算效率。
• 集成标准的 SSL 组件（如 MixUp 和 EMA），以增强泛化能力，同时保持最少的超参数调优。
• 理论分析证明，在温和条件下，该方法可收敛至监督损失函数的驻点。

实验结果

研究问题

• RQ1 元学习框架是否能在减少半监督学习中所需超参数数量的同时，保持或提升性能？
• RQ2 在训练过程中如何对未标记数据进行重加权，以最小化标记数据上的损失，从而提升泛化能力？
• RQ3 动态重加权的伪标签策略是否相比均匀或固定加权策略，能带来更快的收敛速度和更好的性能？
• RQ4 该方法对单个可调超参数的变化是否具有鲁棒性，特别是在低数据设置下？
• RQ5 Meta-Semi 是否能与现有的基于一致性的 SSL 技术（如 ICT 或 MixMatch）有效结合？

主要发现

• 在具有挑战性的 CIFAR-100 和 STL-10 基准测试中，Meta-Semi 实现了最先进性能，分别在使用 10,000 和 4,000 个标记样本时，测试误差为 30.51% 和 37.12%。
• 在 CIFAR-10 上，Meta-Semi 在使用 4,000 个标记样本时达到 3.86% 的测试误差，优于先前的 SOTA 方法。
• 该方法对超参数设置具有鲁棒性，在单个可调超参数的不同取值下性能下降极小。
• 消融实验证实，对未标记数据应用参数 EMA 和 MixUp 对高性能至关重要，而恒定加权（w=1）会使 Meta-Semi 退化为标准的一致性方法。
• Meta-Semi + ICT 进一部提升了性能，表明其与现有基于一致性的技术具有良好的互补性。
• 尽管由于双层优化导致每轮迭代成本较高，Meta-Semi 仍能更快收敛，并在固定训练时间预算内优于基线方法。