[论文解读] Generalization error bounds in semi-supervised classification under the cluster assumption

Philippe Rigollet|arXiv (Cornell University)|Apr 11, 2006

Machine Learning and Data Classification参考文献 37被引用 109

一句话总结

本文提出了半监督分类中聚类假设的数学严谨表述，并引入一种基于密度分位数集估计的方法，利用未标记数据在标记和未标记样本量上均实现快速收敛速率。关键贡献在于泛化误差界具有 $\tilde{O}(m^{-\frac{\bar{a}}{2}})$ 和 $\tilde{O}(n^{-1})$ 的速率，表明当决策边界位于低密度区域时性能得到提升。

ABSTRACT

We consider semi-supervised classification when part of the available data is unlabeled. These unlabeled data can be useful for the classification problem when we make an assumption relating the behavior of the regression function to that of the marginal distribution. Seeger (2000) proposed the well-known "cluster assumption" as a reasonable one. We propose a mathematical formulation of this assumption and a method based on density level sets estimation that takes advantage of it to achieve fast rates of convergence both in the number of unlabeled examples and the number of labeled examples.

研究动机与目标

• 以概率论形式正式定义半监督分类中的聚类假设。
• 开发一种利用未标记数据在该假设下提升分类性能的方法。
• 推导反映未标记数据优势的泛化误差界，特别是收敛速率方面。
• 表明通过聚焦受聚类结构影响的风险部分，可降低过剩风险。

提出的方法

• 将聚类假设形式化为决策边界位于低密度区域的要求，与聚类具有同质标签的观点一致。
• 使用密度分位数集估计从未标记数据中识别聚类，其中分位数集 $\Gamma = \{x : p(x) \geq \lambda\}$ 定义聚类。
• 基于估计的分位数集 $\tilde{G}_m$ 构建分类器 $\tilde{g}_{n,m}$，为每个聚类分配统一标签。
• 将 $\lambda$-阈值化过剩风险 $\mathcal{E}_\lambda(\tilde{g}_{n,m})$ 作为性能度量，聚焦于受聚类结构影响的风险部分。
• 利用霍夫丁不等式和集中不等式控制真实与估计分位数集之间的偏差，从而在 $m$（未标记）和 $n$（标记）样本方面建立误差界。
• 在密度 $p$ 在水平 $\lambda$ 处满足 $\gamma$-指数条件的假设下，提出分位数集估计器的一致性结果，确保 $\mathbb{E}_m[\mathrm{Leb}_d(\Gamma \triangle \tilde{G}_m)] = \widetilde{O}(m^{-\alpha})$。

实验结果

研究问题

• RQ1 聚类假设能否以概率论形式正式表述，以证明在半监督学习中使用未标记数据的合理性？
• RQ2 在何种程度上，未标记数据可减少分类中的泛化误差？在何种条件下？
• RQ3 在聚类假设下，使用未标记数据时过剩风险的最优收敛速率是什么？
• RQ4 阈值 $\lambda$ 的选择如何影响分类器的性能？
• RQ5 密度分位数集估计能否在聚类假设下提供一种一致且快速收敛的半监督分类方法？

主要发现

• $\lambda$-阈值化过剩风险 $\mathcal{E}_\lambda(\tilde{g}_{n,m})$ 的上界为 $\widetilde{O}(m^{-\alpha}) + \widetilde{O}(n^{-1})$，表明在标记和未标记样本量上均实现快速收敛。
• 真实与估计分位数集对称差的期望勒贝格测度满足 $\mathbb{E}_m[\mathrm{Leb}_d(\Gamma \triangle \tilde{G}_m)] = \widetilde{O}(m^{-\alpha})$，表明估计器的一致性。
• 在密度 $p$ 在水平 $\lambda$ 处满足 $\gamma$-指数条件的假设下，误分类区域期望测度的速率为 $\widetilde{O}(m^{-\frac{\gamma a}{2}})$。
• 聚类估计误差概率的上界为 $\mathbb{P}_m(D^c) = \widetilde{O}(m^{-\alpha})$，随未标记样本量增加而迅速衰减。
• 分析表明，未标记数据带来的改进最显著体现在受聚类结构支配的风险部分，而非总过剩风险。
• 该方法对模型误设具有鲁棒性，因其不依赖参数化密度模型，与许多现有方法不同。