[论文解读] Consistency of semi-supervised learning algorithms on graphs: Probit and one-hot methods

Franca Hoffmann, Bamdad Hosseini+2 more|arXiv (Cornell University)|Jun 18, 2019

Text and Document Classification Technologies被引用 6

一句话总结

本文在标签噪声消失且数据呈现良好聚类的极限条件下，建立了基于图的半监督学习算法（特别是 probit 和 one-hot 方法）的一致性。证明了在图拉普拉斯矩阵的有理函数中合理选择参数时，这些方法能渐近地恢复正确标签，同时识别出对标签不平衡和噪声缩放的敏感性。

ABSTRACT

Graph-based semi-supervised learning is the problem of propagating labels from a small number of labelled data points to a larger set of unlabelled data. This paper is concerned with the consistency of optimization-based techniques for such problems, in the limit where the labels have small noise and the underlying unlabelled data is well clustered. We study graph-based probit for binary classification, and a natural generalization of this method to multi-class classification using one-hot encoding. The resulting objective function to be optimized comprises the sum of a quadratic form defined through a rational function of the graph Laplacian, involving only the unlabelled data, and a fidelity term involving only the labelled data. The consistency analysis sheds light on the choice of the rational function defining the optimization.

研究动机与目标

• 在标签噪声趋近于零且聚类清晰的极限下，建立基于优化的图-based 半监督学习的理论一致性。
• 分析图拉普拉斯矩阵的有理函数在目标函数中的作用，特别是参数 α、τ 和 ε 的影响。
• 研究标签不平衡和噪声水平对 probit 和 one-hot 方法性能与可靠性的影 响。
• 展示一个表示定理和维数约减性质，以增强方法的实际适用性。
• 识别出方法失效的条件，特别是当因参数选择不当而传播多数类标签时。

提出的方法

• 使用潜在函数 $ u^\flat: Z \to \mathbb{R}^M $ 建模 SSL 问题，其中通过映射 $ S: \mathbb{R}^M \to \{1,\dots,M\} $ 恢复标签，且存在带噪声的观测值 $ y(j) = S(u^\flat(j) + \eta(j)) $。
• 提出一种优化目标，结合通过图拉普拉斯矩阵 $ L $ 的有理函数定义的未标记数据二次惩罚项，以及对已标记数据的保真性项。
• 使用有理函数 $ R(L) = (I + \alpha L)^{-1} $ 定义二次惩罚项，其中参数 $ \alpha $ 控制平滑性。
• 对图拉普拉斯矩阵进行谱分析，研究在聚类增强和噪声减少的极限下最小化器的行为。
• 采用分层贝叶斯框架作为自动调节参数 $ \tau $ 和 $ \alpha $ 的潜在解决方案，尤其关注其与噪声尺度 $ \epsilon $ 的关系。
• 通过合成聚类数据进行数值实验，评估成功概率随 $ \epsilon/\tau^2 $ 和 $ \gamma $ 的变化，揭示相变现象。

实验结果

研究问题

• RQ1 在标签噪声较低且聚类较强的极限下，probit 方法在何种条件下能一致地恢复真实标签？
• RQ2 图拉普拉斯矩阵的有理函数选择（特别是参数 $ \alpha $）如何影响解的一致性和稳定性？
• RQ3 标签在不同聚类间不平衡对 one-hot 方法成功概率有何影响？
• RQ4 当 $ \epsilon/\tau^2 $ 过大时，为何模型倾向于传播多数类标签？这种成功概率的相变现象由何引起？
• RQ5 分层贝叶斯方法能否自动调节参数 $ \tau $ 和 $ \alpha $，以实现与噪声和聚类条件的最优匹配？

主要发现

• 只要图拉普拉斯矩阵的有理函数被适当地参数化，probit 和 one-hot 方法在标签噪声趋近于零且聚类增强的极限下具有一致性。
• 当 $ \epsilon/\tau^2 $ 超过临界阈值时，观察到成功概率的显著相变，表明模型退化为默认传播多数类标签的失效模式。
• 当 $ \epsilon/\tau^2 $ 低于临界阈值时，成功概率主要依赖于 $ \gamma $（聚类强度），表明存在一个鲁棒区域。
• 标签不平衡显著缩小了 $ \epsilon/\tau^2 $ 的可接受范围；各聚类间标签平衡可带来更大的成功恢复区域。
• 数值结果表明，当所有聚类具有相等数量的标记点时，蓝色区域（高成功概率）更大，表明标签平衡可提升鲁棒性。
• 分析表明，分层贝叶斯方法可能对自动调节 $ \tau $ 和 $ \alpha $ 至关重要，以在不同噪声和聚类条件下维持一致性。