[论文解读] Unlabeled Data Help in Graph-Based Semi-Supervised Learning: A Bayesian Nonparametrics Perspective

Daniel Sanz-Alonso, Ruiyi Yang|arXiv (Cornell University)|Aug 26, 2020

Machine Learning and Data Classification参考文献 49被引用 5

一句话总结

该论文在流形假设下证明，当使用足够多的无标签数据来构建贝叶斯非参数先验时，基于图的半监督学习可实现最小最大最优后验收缩速率（对数因子以内）。该方法利用图拉普拉斯矩阵编码几何结构，理论分析表明，无标签数据通过使模型能够最优适应底层流形的光滑性，从而提升学习性能。

ABSTRACT

In this paper we analyze the graph-based approach to semi-supervised learning under a manifold assumption. We adopt a Bayesian perspective and demonstrate that, for a suitable choice of prior constructed with sufficiently many unlabeled data, the posterior contracts around the truth at a rate that is minimax optimal up to a logarithmic factor. Our theory covers both regression and classification.

研究动机与目标

• 研究在流形假设下，无标签数据是否能提升基于图的半监督学习的学习性能。
• 为回归与分类设置下的后验收缩速率提供理论保证。
• 证明基于图构造的贝叶斯非参数方法可实现对真实函数光滑性的最优自适应。
• 表明当无标签数据数量随有标签数据数量以足够快的速度增长时，后验收缩速率可达到最小最大最优（对数因子以内）。

提出的方法

• 采用贝叶斯非参数框架，其中先验分布通过无标签数据的图拉普拉斯矩阵构建，以编码底层流形的几何结构。
• 后验通过包含有标签数据的似然函数定义，回归与分类分别采用高斯似然和伯努利似然的独立形式。
• 分析中使用半度量 $ d_n $ 衡量后验在真实函数 $ f_0 $ 附近的集中程度，收缩速率定义为序列 $ \varepsilon_n $，使得后验概率 $ \|f - f_0\|_n \geq M_n \varepsilon_n $ 随 $ n \to \infty $ 趋于零。
• 利用图拉普拉斯矩阵的谱收敛结果控制先验行为，确保当无标签点数 $ N_n $ 以多项式速率随 $ n $ 增长时，能捕捉流形的几何特性。
• 应用贝叶斯非参数理论工具（如熵条件与先验集中条件）推导后验收缩速率。
• 分析假设在流形上均匀采样；通过加权拉普拉斯-贝尔特拉米算子，讨论了非均匀密度分布的推广。

实验结果

研究问题

• RQ1 在流形假设下，包含无标签数据是否能提升基于图的半监督学习中后验收缩速率？
• RQ2 基于图构造先验的贝叶斯非参数方法是否可在回归与分类中均实现最小最大最优速率？
• RQ3 当有 $ n $ 个有标签样本时，无标签数据 $ N_n $ 需要以何种增长速率才能确保最优后验收缩？
• RQ4 先验光滑性参数的选择如何影响后验集中程度？是否可在不预先知晓真实函数光滑性的情况下实现自适应？
• RQ5 通过图拉普拉斯矩阵捕获的数据流形几何结构，在贝叶斯半监督学习中在多大程度上影响学习速率？

主要发现

• 当无标签数据数量 $ N_n $ 以适当的多项式速率随 $ n $ 增长时，后验在真实函数 $ f_0 $ 附近的收缩速率可达最小最大最优（对数因子以内）。
• 在回归任务中，后验收缩速率在 $ L^\infty $-范数下与最小最大速率一致，且先验通过无标签数据的图拉普拉斯矩阵构建。
• 在分类任务中，后验收缩速率同样为最小最大最优（对数因子以内），结果通过赫林格距离与Kullback-Leibler散度等价于经验范数的推导获得。
• 当图拉普拉斯矩阵谱收敛至流形上的真实拉普拉斯-贝尔特拉米算子时，后验收缩所需的先验集中条件与熵条件均被满足。
• 理论在流形上均匀采样的假设下成立；通过加权拉普拉斯-贝尔特拉米算子，可推广至非均匀密度分布情形。
• 结果表明，充足的无标签数据对基于图的方法提取几何结构并实现最优学习性能至关重要。