[论文解读] NP-Match: When Neural Processes meet Semi-Supervised Learning

Jianfeng Wang, Thomas Lukasiewicz+4 more|arXiv (Cornell University)|Jul 3, 2022

Machine Learning and Data Classification被引用 6

一句话总结

NP-Match 提出了一种新颖的半监督学习框架，将神经过程（NPs）整合到图像分类任务中，通过隐式核学习提升伪标签质量并实现高效的不确定性估计。该方法在多个基准测试中达到最先进性能，且计算成本显著低于基于MC dropout的方法。

ABSTRACT

Semi-supervised learning (SSL) has been widely explored in recent years, and it is an effective way of leveraging unlabeled data to reduce the reliance on labeled data. In this work, we adjust neural processes (NPs) to the semi-supervised image classification task, resulting in a new method named NP-Match. NP-Match is suited to this task for two reasons. Firstly, NP-Match implicitly compares data points when making predictions, and as a result, the prediction of each unlabeled data point is affected by the labeled data points that are similar to it, which improves the quality of pseudo-labels. Secondly, NP-Match is able to estimate uncertainty that can be used as a tool for selecting unlabeled samples with reliable pseudo-labels. Compared with uncertainty-based SSL methods implemented with Monte Carlo (MC) dropout, NP-Match estimates uncertainty with much less computational overhead, which can save time at both the training and the testing phases. We conducted extensive experiments on four public datasets, and NP-Match outperforms state-of-the-art (SOTA) results or achieves competitive results on them, which shows the effectiveness of NP-Match and its potential for SSL.

研究动机与目标

• 为解决半监督学习（SSL）中蒙特卡洛（MC）dropout方法在不确定性估计方面的计算效率低下问题。
• 探索神经过程（NPs）作为MC dropout在SSL中更高效、更有效的概率替代方案的可行性。
• 通过NPs学习的核函数实现对有标签与无标签数据的隐式比较，从而提升伪标签质量。
• 开发一种计算高效的不确定性估计机制，避免多次前向传播。
• 在大规模图像分类基准（包括ImageNet）上展示NP-Match的有效性。

提出的方法

• 在深度神经网络之上集成神经过程（NPs），以单次前向传播建模预测分布并估计不确定性。
• 将NPs目标函数中的标准KL散度替换为一种新型的基于不确定性的偏斜几何JS散度，以提升对低质量特征的鲁棒性。
• 采用一致性正则化与伪标签策略，利用不确定性估计对伪标签进行精炼，以选择可靠的无标签样本。
• 利用NPs的隐式核特性，将无标签数据与相似的有标签数据进行比较，从而提升伪标签的准确性。
• 每输入仅需一次前向传播即可获得预测结果与不确定性估计，相比MC dropout方法显著降低训练与推理时间。
• 通过期望不确定性校准误差（UCE）对不确定性进行校准，表明其不确定性估计具有良好校准性。

实验结果

研究问题

• RQ1 神经过程（NPs）能否被有效适配于大规模半监督图像分类任务，以提升伪标签质量？
• RQ2 NP-Match是否在计算开销更低的前提下，提供比基于MC dropout的方法更可靠的不确定性估计？
• RQ3 所提出的基于不确定性的偏斜几何JS散度是否相比标准KL散度能提升NPs在SSL中的鲁棒性？
• RQ4 NP-Match与当前最先进确定性SSL方法相比，在标准基准上的表现如何？
• RQ5 NP-Match能否泛化至大规模数据集（如ImageNet），并实现最先进性能？

主要发现

• NP-Match在ImageNet上实现了最先进性能，证明其在大规模数据集上的有效性。
• 在CIFAR-10、CIFAR-100和STL-10上，NP-Match的表现优于或匹配现有最先进确定性方法。
• NP-Match显著降低了计算成本：推理时间随前向传播次数的增加而缓慢增长，而MC dropout方法则呈现快速增长趋势。
• 基于不确定性的偏斜几何JS散度在所有基准测试中均优于标准KL散度，提升了对不良特征表示的鲁棒性。
• NP-Match生成了具有良好校准性的不确定性估计，表现为较低的期望不确定性校准误差（UCE），表明其置信度估计可靠。
• 模型的不确定性与预测准确率相关：平均不确定性较高的类别准确率较低，验证了不确定性作为伪标签选择可靠标准的有效性。