[论文解读] Energy Models for Better Pseudo-Labels: Improving Semi-Supervised Classification with the 1-Laplacian Graph Energy

Angelica I. Avilés-Rivero, Nicolas Papadakis+5 more|arXiv (Cornell University)|Jun 20, 2019

Domain Adaptation and Few-Shot Learning参考文献 48被引用 13

一句话总结

该论文提出CREPE，一种新颖的混合半监督学习框架，通过在归一化图1-拉普拉斯矩阵上使用基于非光滑ℓ₁-范数的能量模型，生成更可靠的伪标签。通过理论分析收敛性并在自然图像与医学图像基准上展示优越性能，该方法通过显式控制不确定性，显著提升了伪标签质量，实现了最先进的结果。

ABSTRACT

Semi-supervised classification is a great focus of interest, as in real-world scenarios obtaining labels is expensive, time-consuming and might require expert knowledge. This has motivated the fast development of semi-supervised techniques, whose performance is on a par with or better than supervised approaches. A current major challenge for semi-supervised techniques is how to better handle the network calibration and confirmation bias problems for improving performance. In this work, we argue that energy models are an effective alternative to such problems. With this motivation in mind, we propose a hybrid framework for semi-supervised classification called CREPE model (1-Lapla$\\mathbf{C}$ian g$\\mathbf{R}$aph $\\mathbf{E}$nergy for $\\mathbf{P}$seudo-lab$\\mathbf{E}$ls). Firstly, we introduce a new energy model based on the non-smooth $\\ell_1$ norm of the normalised graph 1-Laplacian. Our functional enforces a sufficiently smooth solution and strengthens the intrinsic relation between the labelled and unlabelled data. Secondly, we provide a theoretical analysis for our proposed scheme and show that the solution trajectory does converge to a non-constant steady point. Thirdly, we derive the connection of our energy model for pseudo-labelling. We show that our energy model produces more meaningful pseudo-labels than the ones generated directly by a deep network. We extensively evaluate our framework, through numerical and visual experiments, using six benchmarking datasets for natural and medical images. We demonstrate that our technique reports state-of-the-art results for semi-supervised classification.

研究动机与目标

• 为解决当前半监督学习方法在处理网络校准与伪标签确认偏见方面的局限性。
• 开发一种更鲁棒的能量泛函，以提升伪标签质量，优于直接的深度神经网络输出。
• 提供一个理论基础坚实的混合模型，结合深度学习与严谨的能量最小化，以提升泛化能力。
• 在包括复杂医学图像在内的多样化数据集上评估所提框架，以证明其泛化能力。

提出的方法

• 提出一种基于归一化图1-拉普拉斯矩阵ℓ₁范数的新能量模型，以强化标记与未标记数据之间的关系并实现平滑性。
• 推导收敛性分析，证明该能量模型的解轨迹收敛至非恒定稳态。
• 建立能量模型与伪标签之间的理论联系，表明其生成的伪标签比直接网络预测更具意义。
• 采用混合框架，利用能量模型对深度神经网络的预测结果进行优化，提升标签置信度与不确定性估计。
• 精心选择类别先验，以增强能量泛函中对数据内在结构的建模能力。
• 在六个基准数据集（包括ChestX-ray14与CBIS-DDSM）上应用该框架，验证其在自然图像与医学图像上的性能。

实验结果

研究问题

• RQ1 基于非光滑ℓ₁-范数的图能量模型能否提升半监督学习中伪标签的可靠性？
• RQ2 与现有基于能量的方法相比，所提出的能量模型是否展现出更好的收敛性与稳定性？
• RQ3 将一个理论基础坚实的能量模型整合进来，相较于直接使用深度神经网络预测，能否显著提升伪标签质量？
• RQ4 该框架在多样化数据分布（包括复杂医学图像）上的泛化能力如何？

主要发现

• 所提出的CREPE框架在六个基准数据集（包括自然图像与医学图像）上实现了半监督图像分类的SOTA性能。
• 在ChestX-ray14与CBIS-DDSM医学数据集上，该方法在所有标签率下相较基线LGC方法，AUC提升10%至16%。
• 能量模型的解轨迹收敛至非恒定稳态，证实了其理论上的稳定性与鲁棒性。
• 该框架通过显式控制预测不确定性，显著提升了伪标签质量，而无需依赖仅基于深度网络输出的方法。
• 该方法优于现有使用旧版能量模型的混合技术，在半监督分类任务中确立了新的SOTA。
• 该方法在复杂医学影像数据上表现出良好的泛化能力，凸显其鲁棒性及在自然图像领域之外的适用性。