[論文レビュー] Fast learning rates for plug-in classifiers under the margin condition

Jean-Yves Audibert, Alexandre B. Tsybakov|arXiv (Cornell University)|Jul 8, 2005

Machine Learning and Algorithms参考文献 22被引用数 32

ひとこと要約

この論文は、マージン条件の下で、プラグイン分類器が $n^{-1}$ よりも速い学習速度—すなわち超高速速度—を達成できることを確立している。これは、かつての予想とは対照的であり、このような速度が達成不可能であるとされてきたものである。非パラメトリック回帰とマージンに基づくリスク制御を組み合わせることで、最適な速度に達する推定器を構築し、これらの速度の鋭さを裏付ける最小最大下界を証明している。

ABSTRACT

It has been recently shown that, under the margin (or low noise) assumption, there exist classifiers attaining fast rates of convergence of the excess Bayes risk, i.e., the rates faster than $n^{-1/2}$. The works on this subject suggested the following two conjectures: (i) the best achievable fast rate is of the order $n^{-1}$, and (ii) the plug-in classifiers generally converge slower than the classifiers based on empirical risk minimization. We show that both conjectures are not correct. In particular, we construct plug-in classifiers that can achieve not only the fast, but also the {\it super-fast} rates, i.e., the rates faster than $n^{-1}$. We establish minimax lower bounds showing that the obtained rates cannot be improved.

研究の動機と目的

• マージン条件の下で、プラグイン分類器が $n^{-1}$ より速い高速度を達成できないという長年の予想に挑戦すること。
• プラグイン分類器が、収束速度の面で、経験的リスク最小化（ERM）分類器を同等または上回ることができるかどうかを調査すること。
• 導出された学習速度の最適性を確認するための最小最大下界を確立すること。
• マージン仮定を介して回帰推定誤差と過剰リスクを結びつける理論的枠組みを構築し、より速い速度を可能にする。
• マージン条件の下で、$n^{-1}$ より速い「超高速」速度が、マージン条件の下でプラグインルールを注意深く設計することによって達成可能であることを示すこと。

提案手法

• 回帰関数 $\eta(x) = P(Y=1|X=x)$ の非パラメトリック推定量 $\hat{\eta}_n$ を用いて、$\hat{f}_n^{PI}(X) = \mathbf{1}_{\{\hat{\eta}_n(X) \geq 1/2\}}$ の形のプラグイン分類器を提案する。
• 関数 $P(|\eta(X) - 1/2| \leq \varepsilon)$ の尾部挙動を制御するマージン仮定（MA）を導入し、$P(|\eta(X) - 1/2| \leq \varepsilon) \leq C\varepsilon^\alpha$（$\alpha > 0$）で定量的に表現する。
• 比較不等式 (5.3) を用いて、過剰リスク $d(f)$ を $\hat{\eta}_n$ と $\eta$ の $L_p$-距離に関連させ、$d(f_{\hat{\eta}_n}) \leq C \|\hat{\eta}_n - \eta\|_p^{(1+\alpha)p/(p+\alpha)}$ を示す。
• ベルヌーイの不等式を用いて、経験的リスクと真のリスクの乖離を制御し、マージン条件を用いて、経験プロセスの分散をバインドする。
• 関数クラスの被覆ネット $\mathcal{N}_{\varepsilon_n}$ を用いたチェインニングの議論により、エントロピーを制御し、指数的尾部バインドを導出する。
• 推定誤差と乖離制御のバランスを取ることで、最適速度 $\Delta_n = n^{-\frac{(1+\alpha)p}{(2+\alpha)p + \rho(p+\alpha)}}$ を導出し、下界による最小最大最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 マージン条件の下で、プラグイン分類器は $n^{-1}$ より速い学習速度を達成できるか？
• RQ2 プラグイン分類器は本質的に ERM に基づく分類器よりも遅いという予想は正しいか？
• RQ3 マージン仮定の下で、プラグイン分類器の収束速度の最適値は何か？
• RQ4 マージン条件の下で、プラグイン分類器の過剰リスクは、回帰推定量の $L_p$-誤差でバインド可能か？
• RQ5 導出された速度は最小最大最適であり、さらに向上可能か？

主な発見

• マージン条件の下で、プラグイン分類器は $n^{-1}$ より速い超高速学習速度—具体的には $n^{-\frac{(1+\alpha)p}{(2+\alpha)p + \rho(p+\alpha)}}$ のオーダー—を達成できる。
• 速度 $\Delta_n = n^{-\frac{(1+\alpha)p}{(2+\alpha)p + \rho(p+\alpha)}}$ は、一致する下界を導出することで最小最大最適であることが示された。
• この論文は、プラグイン分類器の最高到達速度が $n^{-1}$ であるという予想を反証し、より速い速度が達成可能であることを示した。
• マージン条件により、決定境界付近での回帰関数の挙動を制御することで、収束速度の著しい向上が可能になる。
• 分析により、プラグイン分類器の過剰リスクは $\mathbb{E}[R(\hat{f}_n^{PI}) - R(f^*)] \leq C \cdot \Delta_n$ でバインド可能であり、$\Delta_n$ は $\alpha$、$p$、関数クラスのエントロピーに依存する。
• 回帰関数 $\eta$ が $n^{-1/2}$ より遅い速度で推定されても、マージン条件が満たされていれば、この結果は成り立つ。