[論文レビュー] Margins, Shrinkage, and Boosting

Matus Telgarsky|arXiv (Cornell University)|Mar 18, 2013

Face and Expression Recognition参考文献 26被引用数 26

ひとこと要約

本稿は、AdaBoost や関連するブースティングアルゴリズムが、小さな定数でステップサイズをスケーリングすることで最大マージン分類を達成することを示しており、勾配ブースティングにおけるFriedmanのスケーリング手順に対する理論的保証を提供する。正則化されたラインサーチ—特に指数関数的およびロジスティック損失を用いた場合—は、マージンの下界を向上させ、専用のマージン最大化アルゴリズムと同等の性能を発揮する一方で、既存のブースティングフレームワークの単純さを保っていることが示された。

ABSTRACT

This manuscript shows that AdaBoost and its immediate variants can produce approximate maximum margin classifiers simply by scaling step size choices with a fixed small constant. In this way, when the unscaled step size is an optimal choice, these results provide guarantees for Friedman's empirically successful "shrinkage" procedure for gradient boosting (Friedman, 2000). Guarantees are also provided for a variety of other step sizes, affirming the intuition that increasingly regularized line searches provide improved margin guarantees. The results hold for the exponential loss and similar losses, most notably the logistic loss.

研究の動機と目的

• 勾配ブースティングにおけるFriedmanのスケーリング手順の理論的裏付けを提供すること。この手順は一般化性能を向上させるという経験的観察がある。
• AdaBoost 及びその変種が、明示的なマージン最大化がなくても、ステップサイズのスケーリングによって最大マージン分類を達成できることを示すこと。
• 分離可能および非分離可能なデータ設定の両方において、収束性およびマージンの保証を確立すること。
• 統一された理論的枠組みの下で、最適、2次、Wolfe、および適応的ステップサイズの性能を比較すること。
• わずかなアルゴリズム的変更（スケーリング）によって、専用のアルゴリズムと同等のマージン最大化特性が得られることを示すこと。

提案手法

• 本稿は、指数関数的およびロジスティック損失を用いたブースティングにおける、最適、2次、Wolfe、適応的の4つのステップサイズ戦略を、統一された枠組みで分析する。
• 座標降下法の解釈を用いて、ステップサイズを小さくすることで、制約付き最適解の経路に近づくことができ、これは最大マージン解に対応することを示す。
• Telgarsky (2012) の技術を用いて、経験的リスクの収束速度を導出し、スケーリングが収束速度を低下させないことを保証する。
• 相対的曲率と、ブースティング問題を分離可能および非分離可能成分に分解することで、マージン行動を分離する。
• 付録の補題と証明は、損失関数の減衰を制限し、ラインサーチにおけるWolfe条件を活用して、マージンの下界を確立する。
• 損失の減衰不等式を再帰的に適用し、マージンの進化に関する対数的境界を用いて、理論的保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 ブースティングにおけるスケーリングは、最大マージン分類を達成する手段として理論的に正当化できるか？
• RQ2 小さなステップサイズを用いた正則化ラインサーチは、明示的に設計されたマージン最大化アルゴリズムと同等のマージン保証を提供するか？
• RQ3 最適、2次、Wolfe、適応的の各ステップサイズルールは、収束性およびマージン性能にどのように影響を与えるか？
• RQ4 非分離可能な設定において、スケーリング、収束速度、マージン改善の関係は何か？
• RQ5 同じ理論的保証は、指数関数的損失に加え、ロジスティック損失に対しても拡張可能か？

主な発見

• AdaBoost や勾勾配ブースティングにおけるステップサイズのスケーリングにより、元のアルゴリズムがそれらを達成しなくても、近似的な最大マージン解が得られることを示した。
• Friedman (2000) が提案したスケーリング手順は理論的に正当化され、専用のマージン最大化アルゴリズムと同等のマージン保証が得られることを示した。
• 最適、2次、Wolfe、適応的の4つのステップサイズ選択において、弱い条件下でも反復回数に応じて増加するマージンの下界が達成されることを示した。
• 分離可能なデータでは、マージンの下界が $ \hat{\gamma} c_0 \|\lambda_t\|_1 / (3\nu) $ の形を取り、$ \hat{\gamma} > 0 $ であるため、マージン収束が保証される。
• 非分離可能な設定では、データの分離可能部分成分においても正のマージンが得られ、そのマージンの下界は正則化パラメータ $ \nu $ に依存する。
• スケーリング下でも経験的リスクの収束速度は変化せず、正則化が学習速度を遅くしないことが確認された。