[論文レビュー] Refined Error Bounds for Several Learning Algorithms

Steve Hanneke|arXiv (Cornell University)|Dec 22, 2015

Machine Learning and Algorithms参考文献 47被引用数 3

ひとこと要約

本稿では、一般化保証における対数因子を削除または低減することで、いくつかの学習アルゴリズムの誤差境界を精緻化する。そのために、単調な誤差領域とVC次元またはサンプル圧縮サイズに基づく新規技術が用いられる。これにより、サンプル整合的分類器、アクティブラーニング（CAL）、およびTsybakovの条件下でのノイズあり分類に対して、定数要因を除いて最適なレートを達成するよりタイトな境界が確立される。

ABSTRACT

This article studies the achievable guarantees on the error rates of certain learning algorithms, with particular focus on refining logarithmic factors. Many of the results are based on a general technique for obtaining bounds on the error rates of sample-consistent classifiers with monotonic error regions, in the realizable case. We prove bounds of this type expressed in terms of either the VC dimension or the sample compression size. This general technique also enables us to derive several new bounds on the error rates of general sample-consistent learning algorithms, as well as refined bounds on the label complexity of the CAL active learning algorithm. Additionally, we establish a simple necessary and sufficient condition for the existence of a distribution-free bound on the error rates of all sample-consistent learning rules, converging at a rate inversely proportional to the sample size. We also study learning in the presence of classification noise, deriving a new excess error rate guarantee for general VC classes under Tsybakov's noise condition, and establishing a simple and general necessary and sufficient condition for the minimax excess risk under bounded noise to converge at a rate inversely proportional to the sample size.

研究の動機と目的

• サンプル整合的学習アルゴリズムの一般化誤差境界における対数因子のギャップを解消すること。
• CALアクティブラーニングアルゴリズムのラベル複雑度分析を精緻化すること。
• 分布フリーな誤差率収束が $O(1/m)$ のレートで成立するための必要十分条件を確立すること。
• Tsybakovのノイズ条件下でのVCクラスに対する新たな超過リスク境界を導出すること。
• 有界ノイズ下でのミニマックス超過リスク収束を特徴づけること。

提案手法

• 実現可能ケースにおける単調な誤差領域を有するサンプル整合的分類器の誤差率をバウンドする一般的手法が開発される。
• この手法は、幾何学的および確率的議論を活用して、VC次元 $d$ やサンプル圧縮サイズに基づいて境界を表現する。
• 再帰的解析が用いられ、誤差のスケールに跨る蓄積を制御するため、入れ子になった集合 $\mathcal{G}_k$ と事象 $E_k$ が定義される。
• このアプローチは、$(a,\alpha)$-Bernstein条件と関数 $\hat{\varphi}_{a,\alpha}(r)$ を用いてノイズの挙動をモデル化する。
• 失敗確率を制御するために、dyadicスケール上で集中不等式と和集合の不等式が適用される。
• VCエントロピーとメトリックエントロピーの議論を組み合わせ、誤差領域の被覆数をバウンドする。

実験結果

リサーチクエスチョン

• RQ1 Empirical risk minimizationの一般化境界における対数因子ギャップは、特定の分類器クラスにおいて削除可能か？
• RQ2 実現可能条件下でのCALアクティブラーニングアルゴリズムの正確なラベル複雑度は何か？
• RQ3 ミニマックスの意味で、学習ルールの超過リスクが $O(1/m)$ のレートで収束するための条件は何か？
• RQ4 Tsybakovのノイズ条件下で、VCクラスの誤差境界はどのように精緻化されるか？
• RQ5 分布フリーな誤差率バウンドが $O(1/m)$ のレートで収束するための必要十分条件は何か？

主な発見

• 本稿は、概念空間に特定の条件が満たされる場合に限り、誤差率の分布フリーな境界が $O(1/m)$ のレートで収束することを確立する。
• サンプル整合的学習ルールに対しては、VC次元が有限であれば誤差境界における対数因子を除去でき、定数要因を除いて最適なレートが達成される。
• CALアクティブラーニングアルゴリズムのラベル複雑度が精緻化され、実現可能条件下での収束が改善されていることが示された。
• Tsybakovのノイズ条件下では、ノイズパラメータ $\alpha$ に依存する改善された新しい超過誤差率保証が導出された。
• 有界ノイズ下で、ミニマックス超過リスクが $O(1/m)$ のレートで収束するための必要十分条件が確立された。
• 最終的な超過誤差の境界は $O\left(\left(\frac{d \log \hat{\varphi}_{a,\alpha}(a (ad/m)^{\alpha/(2-\alpha)}) + \log(1/\delta)}{m}\right)^{1/(2-\alpha)}\right)$ であり、定数要因を除いて既知の最適レートと一致する。