[论文解读] LaplaceNet: A Hybrid Energy-Neural Model for Deep Semi-Supervised Classification

Philip Sellars, Angelica I. Avilés-Rivero+1 more|arXiv (Cornell University)|Jun 8, 2021

Machine Learning and Data Classification参考文献 40被引用 10

一句话总结

LaplaceNet 提出了一种用于深度半监督分类的混合能量-神经网络方法，通过拉普拉斯最小化实现基于图的伪标签生成，迭代优化神经网络主干网络，实现了显著降低模型复杂度的同时提升对数据增强的鲁棒性，且在性能上达到最先进水平。

ABSTRACT

Semi-supervised learning has received a lot of recent attention as it alleviates the need for large amounts of labelled data which can often be expensive, requires expert knowledge and be time consuming to collect. Recent developments in deep semi-supervised classification have reached unprecedented performance and the gap between supervised and semi-supervised learning is ever-decreasing. This improvement in performance has been based on the inclusion of numerous technical tricks, strong augmentation techniques and costly optimisation schemes with multi-term loss functions. We propose a new framework, LaplaceNet, for deep semi-supervised classification that has a greatly reduced model complexity. We utilise a hybrid energy-neural network where graph based pseudo-labels, generated by minimising the graphical Laplacian, are used to iteratively improve a neural-network backbone. Our model outperforms state-of-the-art methods for deep semi-supervised classification, over several benchmark datasets. Furthermore, we consider the application of strong-augmentations to neural networks theoretically and justify the use of a multi-sampling approach for semi-supervised learning. We demonstrate, through rigorous experimentation, that a multi-sampling augmentation approach improves generalisation and reduces the sensitivity of the network to augmentation.

研究动机与目标

• 通过减少对大规模标注数据的依赖，解决大规模数据集标注成本高、复杂度大的问题。
• 在保持或提升性能的前提下，降低深度半监督学习中的模型复杂度。
• 通过多采样方法，从理论上证明并实证验证强数据增强的使用。
• 提升泛化能力，降低半监督神经网络对增强方法的敏感度。

提出的方法

• 该框架将神经网络主干与基于能量的模型结合，利用图拉普拉斯矩阵从无标签数据中生成伪标签。
• 通过最小化图拉普拉斯矩阵，迭代优化伪标签，从而在数据流形上促进平滑性。
• 采用多采样策略端到端训练神经网络，以在强增强下稳定预测结果。
• 该方法采用混合能量-神经架构，其中能量最小化引导标签传播与模型优化。
• 避免使用多术语损失函数，从而降低训练复杂度，同时保持性能。
• 该方法迭代应用，随着训练轮次的推进，逐步提升伪标签质量与模型泛化能力。

实验结果

研究问题

• RQ1 混合能量-神经模型是否能在不牺牲性能的前提下降低深度半监督学习中的模型复杂度？
• RQ2 通过拉普拉斯最小化实现的基于图的伪标签生成，在半监督设置中如何提升泛化能力？
• RQ3 当与多采样方法结合时，强数据增强在理论上和实证上会产生何种影响？
• RQ4 多采样策略是否能降低模型对增强方法的敏感度，同时提升鲁棒性？

主要发现

• LaplaceNet 在多个基准数据集上实现了最先进性能，且相比现有方法显著降低了模型复杂度。
• 基于图拉普拉斯的伪标签生成方法在标签传播中比标准一致性正则化更稳定、更准确。
• 多采样增强策略提升了泛化能力，并降低了对增强超参数的敏感度。
• 该框架在标准半监督学习基准上优于现有最先进方法，即使未使用复杂的多术语损失函数。