[論文レビュー] The Rate of Convergence of AdaBoost

Indraneel Mukherjee, Cynthia Rudin+1 more|arXiv (Cornell University)|Jun 29, 2011

Machine Learning and Algorithms参考文献 9被引用数 5

ひとこと要約

本稿は、弱学習の仮定や指数損失の有限最小化子に依存せずに、AdaBoostの収束速度解析を初めて確立した。本稿は、任意のℓ₁ノルムがB未満のパラメータベクトルに対して、指数損失がε以内に収束することを示し、Bおよび1/εの多項式時間で達成され、C/ε回の反復でグローバル最小値のε-最適性に到達することを証明している。後者の収束速度は定数を除いて最適である。

ABSTRACT

The AdaBoost algorithm was designed to combine many "weak" hypotheses that perform slightly better than random guessing into a "strong" hypothesis that has very low error. We study the rate at which AdaBoost iteratively converges to the minimum of the "exponential loss." Unlike previous work, our proofs do not require a weak-learning assumption, nor do they require that minimizers of the exponential loss are finite. Our first result shows that at iteration $t$, the exponential loss of AdaBoost's computed parameter vector will be at most $ε$ more than that of any parameter vector of $\ell_1$-norm bounded by $B$ in a number of rounds that is at most a polynomial in $B$ and $1/ε$. We also provide lower bounds showing that a polynomial dependence on these parameters is necessary. Our second result is that within $C/ε$ iterations, AdaBoost achieves a value of the exponential loss that is at most $ε$ more than the best possible value, where $C$ depends on the dataset. We show that this dependence of the rate on $ε$ is optimal up to constant factors, i.e., at least $Ω(1/ε)$ rounds are necessary to achieve within $ε$ of the optimal exponential loss.

研究の動機と目的

• 弱学習や有限最小化子といった簡略化仮定を仮定しない状況におけるAdaBoostの収束速度を分析すること。
• Schapire (2010) が提起した、指数損失の最小値へのAdaBoostの多項式収束速度に関する予想を解明すること。
• 指数損失におけるε-最適性に到達するまでの反復回数の上界と下界を両方確立すること。
• 有限マージン例とゼロ損失例に分割する訓練データの構造を特定することで、より鋭い解析を可能にすること。

提案手法

• 訓練例をその指数損失への寄与に基づき、有限マージン集合とゼロ損失集合に分割する分解補題を導入する。
• ハーン＝バナッハの分離定理を用いて、マージンの正の線形結合が合計でゼロとなることを示し、最大マージンのバウンドを可能にする。
• 線形計画法の双対性と整数解のバウンド（ゴーランの定理および整数行列の解を用いて）を適用し、分離ベクトルのノルムを制御する。
• ±1,0要素を持つ連立一次方程式系の解のノルムに関する組合せ的バウンドを用いて、最大マージンμ_maxの上界を導出する。
• 各反復における損失の減少量と有限マージン例の数を、マージン構造に関連付けることで収束速度を確立する。
• AdaBoostを座標降下法の解釈として用い、指数損失関数の最小化への進捗を分析する。

実験結果

リサーチクエスチョン

• RQ1 弱学習や有限最小化子の仮定なしに、AdaBoostが最小指数損失に到達する収束速度は何か？
• RQ2 ℓ₁ノルムがB未満のパラメータベクトルに対して、Bおよび1/εに多項式的に依存する収束速度の予想は達成可能か？
• RQ3 収束速度におけるε依存性をO(1/ε)より改善できるか？また、O(1/ε)は最適か？
• RQ4 特に有限マージン例とゼロ損失例を含む訓練データの構造は収束にどのように影響するか？
• RQ5 指数損失におけるε-最適性に到達するまでの反復回数のタイトな上界は何か？

主な発見

• AdaBoostは、任意のℓ₁ノルムがB未満のパラメータベクトルに対して、Bおよび1/εの多項式関数としての反復回数内で、指数損失をε以内に収束させる。
• 収束速度におけるBおよび1/εの依存性は、一致する下界により最適であることが示された。
• C/ε回の反復内に、AdaBoostは指数損失のグローバル最小値よりε以内の損失値に到達する。ここでCはデータセットに依存する定数である。
• C/εの収束速度は定数因子を除いて最適であり、ε-最適性に到達するにはΩ(1/ε)回の反復が必要であることが示された。
• 有限マージン例の最大マージンμ_maxは2^{O(m ln m)}でバウンドされ、これは損失減少の速度を制御する。
• 分解補題により、有限マージン集合がマージンの正の線形結合で合計がゼロとなることが明らかになり、損失のランドスケープの構造的解析が可能になった。