[論文レビュー] Optimal Weak to Strong Learning

Kasper Green Larsen, Martin Ritzert|arXiv (Cornell University)|Jun 3, 2022

Machine Learning and Algorithms被引用数 4

ひとこと要約

本論文は、AdaBoostに存在する2つの対数要因を排除することで、理論的最小値に達する最小の訓練データ量を必要とする、弱学習から強学習への学習アルゴリズムを提示する。この手法はサブサンプリングとマージンに基づく投票を用い、VC次元$d$および利得$γ$において、$2^{-d} < \gamma < 1/80$の範囲で最適性を示す下界を提示する。この結果により、弱学習から強学習への変換における正確な訓練データ量の問題が長年の疑問として解決された。

ABSTRACT

The classic algorithm AdaBoost allows to convert a weak learner, that is an algorithm that produces a hypothesis which is slightly better than chance, into a strong learner, achieving arbitrarily high accuracy when given enough training data. We present a new algorithm that constructs a strong learner from a weak learner but uses less training data than AdaBoost and all other weak to strong learners to achieve the same generalization bounds. A sample complexity lower bound shows that our new algorithm uses the minimum possible amount of training data and is thus optimal. Hence, this work settles the sample complexity of the classic problem of constructing a strong learner from a weak learner.

研究の動機と目的

• 弱学習から強学習への変換に必要な正確な訓練データ量を特定する長年の未解決問題を解消すること。
• 与えられた一般化誤差と信頼水準に達するための最小限の訓練サンプル数を達成する学習アルゴリズムを設計すること。
• 提案されたアルゴリズムの上界と一致するタイトな下界を確立し、最適性を証明すること。
• AdaBoostの訓練データ量の依存関係から、$\varepsilon$、$\gamma$、$d$における2つの対数要因を排除することで、それを改善すること。
• 情報理論的アプローチを用いて、大きなマージンを持つ投票分類器の一般化性能を分析すること。

提案手法

• アルゴリズムは、訓練データから線形サイズの$ m^{0.79} $個のサブサンプルを生成し、それぞれを用いて弱学習器を訓練する。
• 各サブサンプルに対して、AdaBoost$_\nu^*$の変種を適用し、大きなマージンを持つ仮説の集合を生成する。
• 最終的な仮説は、すべてのサブサンプルの予測の多数決を取ることで構成され、マージンに基づく一般化境界を活用する。
• 解析では、概念クラスのエントロピーを仮説の性能条件下でバウンドするため、Littlewood-Offord補題を用いる。これにより、よりタイトな一般化境界が得られる。
• エントロピーと条件付きエントロピーを組み合わせる新しい情報理論的議論により、一般化が悪い確率の下界を導出し、訓練データ量の下界を導出する。
• 任意の弱学習から強学習へのアルゴリズムが、$\Omega\left(\frac{d}{\varepsilon\gamma^2} + \frac{\ln(1/\delta)}{\varepsilon}\right)$個のサンプルを必要とすることを証明する。これは提案されたアルゴリズムの上界と一致する。

実験結果

リサーチクエスチョン

• RQ1 弱学習器の利得が$\gamma$である場合、誤差$\varepsilon$および信頼度$1-\delta$を達成する強学習器に変換するために必要な正確な訓練データ量は何か？
• RQ2 $d$、$\varepsilon$、$\gamma$における対数要因を排除することで、AdaBoostの訓練データ量を改善できるか？
• RQ3 提案されたアルゴリズムの訓練データ量の最適性を証明する一致する下界は存在するか？
• RQ4 大規模データセットにおいて、弱学習器への呼び出し回数を減らすために、サブサンプリング戦略を最適化できるか？
• RQ5 最適な一般化を達成するために、多数の多数決が必要か、それともより単純な投票ルールで同様の境界を達成できるか？

主な発見

• 提案されたアルゴリズムは、$O\left(\frac{d}{\varepsilon\gamma^2} + \frac{\ln(1/\delta)}{\varepsilon}\right)$の訓練データ量を達成し、AdaBoostの境界から2つの対数要因を排除することで改善されている。
• 一致する下界$\Omega\left(\frac{d}{\varepsilon\gamma^2} + \frac{\ln(1/\delta)}{\varepsilon}\right)$が証明され、アルゴリズムが定数倍の違いを除いて最適であることが示された。
• マージンが大きな投票分類器に対する新しい一般化境界が確立され、定数誤差において既存の$k$番目のマージン境界よりもタイトである。
• 情報理論的議論におけるLittlewood-Offord補題の使用により、一般化が悪い確率の鋭いバウンドが得られ、下界の証明に不可欠な役割を果たす。
• $\gamma > 2^{-d}$の範囲で、実現可能ケースにおける弱学習から強学習への訓練データ量が、定数倍の違いを除いて決定された。
• 本稿では、$\gamma < 2^{-d}$の場合、現在の下界が適用されないことが特定され、最近のVC次元の成長に関する結果が示唆するように、$\gamma$依存性がより良くなる可能性があると示唆している。