[論文レビュー] The Optimal Sample Complexity of PAC Learning

Steve Hanneke|arXiv (Cornell University)|Jul 2, 2015

Machine Learning and Algorithms参考文献 21被引用数 58

ひとこと要約

この論文は、訓練データを再帰的に分割して重複するサブセットを構築する新しい多数決学習アルゴリズムを提示することで、PAC学習における最適なサンプル複雑度を特定する長年の未解決問題を解決した。この方法は、定数要因を除いて既知の下界に一致するサンプル複雑度を達成し、上界と下界の間に存在していた従来の対数ギャップを解消した。

ABSTRACT

This work establishes a new upper bound on the number of samples sufficient for PAC learning in the realizable case. The bound matches known lower bounds up to numerical constant factors. This solves a long-standing open problem on the sample complexity of PAC learning. The technique and analysis build on a recent breakthrough by Hans Simon.

研究の動機と目的

• PAC学習における実現可能ケースにおける既知の下界と上界の間のギャップを埋めること。
• 定数要因を除いて最適なサンプル複雑度を達成する学習アルゴリズムを開発し、計算学習理論における長年の未解決問題を解決すること。
• 2015年のHans Simonの先行研究を改善すること。彼の研究は対数要因を短縮したが、完全に解消しなかった。
• 既存の下界とオーダーの意味で一致する、サンプル複雑度のタイトな上界を確立すること。

提案手法

• 提案されたアルゴリズムは、ベース分類器のための重複する訓練サブセットを生成する再帰的データ分割戦略を用いる。これにより、多数決における相関性とロバスト性が保証される。
• 各ベース分類器は、重複とカバレッジを最大化する再帰的アルゴリズムによって選択されたデータサブセット上で訓練される。
• 最終的な仮説は、再帰的に生成されたサブセット上で訓練されたすべてのベース分類器の多数決によって構成される。
• 多数決の誤差率を制御するために、チェルノフ不等式および集中不等式の洗練された応用が分析に用いられる。
• サンプル複雑度の導出に生じる対数表現をバインドするための技術的補題が導入され、εおよびδに依存する依存関係をより厳密に制御可能になる。
• ベースラーナーが元の概念クラス外の仮説を出力することを許容する不正学習に一般化可能である。ただし、そのVC次元が小さいことが条件である。

実験結果

リサーチクエスチョン

• RQ1 PAC学習における実現可能ケースのサンプル複雑度のタイトな上界は何か？
• RQ2 既存の上界と下界の間を隔てる対数要因を完全に解消できるか？
• RQ3 再帰的データ分割と多数決投票に基づく学習アルゴリズムで、最適なサンプル複雑度を達成できるか？
• RQ4 訓練サブセットにおける再帰的重複は、独立抽出と比較して一般化性能をどのように向上させるか？

主な発見

• この論文は、既知の下界に定数要因を除いて一致する新しいサンプル複雑度の上界を確立し、数十年にわたる未解決問題を解決した。
• 提案されたアルゴリズムは、重複するデータサブセット上で訓練された分類器の再帰的多数決を用いて、これに到達した。従来の手法を改善した。
• 従来の上界と下界の間を隔てる対数要因を完全に解消し、数値定数を除いてタイトさを達成した。
• 分析により、サンプル複雑度がΩ(1/ε)の下界に定数要因を除いて一致することが確認され、VC次元d ≥ 3の概念クラスに対しても成立する。
• この結果は、適切な学習と不正学習の両方に対して成り立ち、失敗確率が小さい確率的ベースラーナーにまで拡張可能である。