[论文解读] Fast learning rates for plug-in classifiers under the margin condition

Jean-Yves Audibert, Alexandre B. Tsybakov|arXiv (Cornell University)|Jul 8, 2005

Machine Learning and Algorithms参考文献 22被引用 32

一句话总结

本文证明了在边缘条件（margin condition）下，插件分类器可以实现快于 $n^{-1}$ 的超快学习速率，这与先前认为此类速率不可达的猜想相矛盾。该文通过结合非参数回归与基于边缘的风险控制，构造了达到最优速率的估计器，并证明了极小极大下界，证实了这些速率的紧致性。

ABSTRACT

It has been recently shown that, under the margin (or low noise) assumption, there exist classifiers attaining fast rates of convergence of the excess Bayes risk, i.e., the rates faster than $n^{-1/2}$. The works on this subject suggested the following two conjectures: (i) the best achievable fast rate is of the order $n^{-1}$, and (ii) the plug-in classifiers generally converge slower than the classifiers based on empirical risk minimization. We show that both conjectures are not correct. In particular, we construct plug-in classifiers that can achieve not only the fast, but also the {\it super-fast} rates, i.e., the rates faster than $n^{-1}$. We establish minimax lower bounds showing that the obtained rates cannot be improved.

研究动机与目标

• 挑战长期以来认为在边缘条件下插件分类器无法实现快于 $n^{-1}$ 的学习速率的猜想。
• 研究插件分类器在收敛速度方面是否能与经验风险最小化（ERM）分类器相匹配或超越其性能。
• 建立极小极大下界，以确认所推导的插件分类器学习速率的最优性。
• 构建一个理论框架，通过边缘假设将回归估计误差与过量风险联系起来，从而实现更快的速率。
• 证明在边缘条件下，通过精心设计插件规则，可实现快于 $n^{-1}$ 的超快速率。

提出的方法

• 提出一种形式为 $\hat{f}_n^{PI}(X) = \mathbf{1}_{\{\hat{\eta}_n(X) \geq 1/2\}}$ 的插件分类器，其中 $\hat{\eta}_n$ 是回归函数 $\eta(x) = P(Y=1|X=x)$ 的非参数估计器。
• 引入边缘假设（MA），通过 $P(|\eta(X) - 1/2| \leq \varepsilon) \leq C\varepsilon^\alpha$（其中 $\alpha > 0$）来控制 $P(|\eta(X) - 1/2| \leq \varepsilon)$ 的尾部行为。
• 利用比较不等式（5.3）将过量风险 $d(f)$ 与 $\hat{\eta}_n$ 和 $\eta$ 之间的 $L_p$ 距离联系起来，得到 $d(f_{\hat{\eta}_n}) \leq C \|\hat{\eta}_n - \eta\|_p^{(1+\alpha)p/(p+\alpha)}$。
• 应用伯恩斯坦不等式控制经验风险与真实风险之间的偏差，利用边缘条件来限制经验过程的方差。
• 采用带覆盖网 $\mathcal{N}_{\varepsilon_n}$ 的链式论证方法，控制熵并推导出指数尾部界。
• 通过平衡估计误差与偏差控制，推导出最优速率 $\Delta_n = n^{-\frac{(1+\alpha)p}{(2+\alpha)p + \rho(p+\alpha)}}$，并通过下界证明其极小极大最优性。

实验结果

研究问题

• RQ1 在边缘条件下，插件分类器能否实现快于 $n^{-1}$ 的学习速率？
• RQ2 认为插件分类器本质上比基于 ERM 的分类器更慢的猜想是否正确？
• RQ3 在边缘假设下，插件分类器的最优收敛速率是什么？
• RQ4 在边缘条件下，插件分类器的过量风险能否以回归估计器的 $L_p$ 误差来界定？
• RQ5 所推导的速率是否为极小极大最优？能否进一步改进？

主要发现

• 在边缘条件下，插件分类器可实现快于 $n^{-1}$ 的超快学习速率，具体为 $n^{-\frac{(1+\alpha)p}{(2+\alpha)p + \rho(p+\alpha)}}$ 阶。
• 速率 $\Delta_n = n^{-\frac{(1+\alpha)p}{(2+\alpha)p + \rho(p+\alpha)}}$ 是极小极大最优的，通过推导匹配的下界得到证实。
• 本文推翻了插件分类器最佳可实现速率仅为 $n^{-1}$ 的猜想，表明更快的速率是可能的。
• 边缘条件通过控制回归函数在决策边界附近的行为，显著提升了收敛速率。
• 分析表明，插件分类器的过量风险满足 $\mathbb{E}[R(\hat{f}_n^{PI}) - R(f^*)] \leq C \cdot \Delta_n$，其中 $\Delta_n$ 依赖于 $\alpha$、$p$ 以及函数类的熵。
• 即使回归函数 $\eta$ 的估计速率慢于 $n^{-1/2}$，只要满足边缘条件，该结果依然成立。