[論文レビュー] Generalized Boosting Algorithms for Convex Optimization

Alexander Grubb, Drew Bagnell|arXiv (Cornell University)|May 10, 2011

Machine Learning and Algorithms参考文献 16被引用数 23

ひとこと要約

この論文は、弱学習者に対する新しい性能指標を導入し、反復射影法と残差射影法の2つの新しいアルゴリズムを提案することで、勾配ブースティングを任意の凸損失関数へ一般化する。これらの手法は滑らかでない目的関数に対しても収束を保証する。主な貢献は、滑らかでない凸問題における理論的弱学習者から強学習者への保証であり、従来の手法が収束しない困難なデータセット（例：'connect4' および 'letter'）において実験的に検証されている。

ABSTRACT

Boosting is a popular way to derive powerful learners from simpler hypothesis classes. Following previous work (Mason et al., 1999; Friedman, 2000) on general boosting frameworks, we analyze gradient-based descent algorithms for boosting with respect to any convex objective and introduce a new measure of weak learner performance into this setting which generalizes existing work. We present the weak to strong learning guarantees for the existing gradient boosting work for strongly-smooth, strongly-convex objectives under this new measure of performance, and also demonstrate that this work fails for non-smooth objectives. To address this issue, we present new algorithms which extend this boosting approach to arbitrary convex loss functions and give corresponding weak to strong convergence results. In addition, we demonstrate experimental results that support our analysis and demonstrate the need for the new algorithms we present.

研究の動機と目的

• 滑らかでない、強く凸でない場合を除く任意の凸損失関数へ勾配ベースのブースティングを拡張すること。
• 関数空間における凸最適化に適した、一般化された弱学習者の性能指標を定義すること。
• 順位付けや多クラス分類におけるヒンジ損失のような滑らかでない目的関数において、既存の勾配ブースティングアルゴリズムが失敗する理由を特定し、その是正策を講じること。
• 一般化されたフレームワーク下で、既存および新規のアルゴリズムに対する弱学習者から強学習者への理論的保証を提供すること。
• 従来の手法が失敗する分野である模倣学習、順位付け、多クラス分類タスクにおいて、新アルゴリズムの実験的検証を行うこと。

提案手法

• 勾配降下法のヒルベルト空間における仮説空間への適用を厳密に分析できるように、$L^2$関数空間におけるブースティング問題の定式化を行う。
• 弱学習者出力と勾配との内積に基づく、一般化された弱学習者性能指標を導入する。
• 反復射影法を提案。各ステップで勾配を弱学習者空間に逐次射影する。
• 残差射影法を導入。未説明の勾配成分を追跡するための残差ベクトルを維持することで収束性を向上させる。
• ヒルベルト空間フレームワークを用いて射影誤差をバウンディングし、残差ノルムと弱学習者性能を含むレグレットバウンドを導出する。
• 制限付き勾配降下設定に、標準的な凸最適化手法（例えば、部分勾配解析やノルムに基づくレグレットバウンド）を適用する。

実験結果

リサーチクエスチョン

• RQ1 勾配ブースティングは、ヒンジ損失のような滑らかでない凸損失関数を含め、任意の凸損失関数へ一般化可能か？
• RQ2 従来のPAC設定を超えて凸最適化に適した、弱学習者性能指標の一般化は可能か？
• RQ3 既存の勾配ブースティングアルゴリズムが滑らかでない目的関数で収束しない理由は何か？その是正策は？
• RQ4 提案されたアルゴリズム（反復射影法および残差射影法）は、滑らかでない凸目的関数において弱学習者から強学習者への保証を達成できるか？
• RQ5 実世界のタスクにおいて、新しいアルゴリズムはナードル射影法や既存のブースティング手法と比較して実際の性能で優れているか？

主な発見

• 既存の勾配ブースティングアルゴリズムは、有限次元設定においても、射影誤差の制御が不十分なために滑らかでない凸目的関数では収束しない。
• 残差射影法は平均レグレットバウンド $O\left(\frac{\ln T}{\gamma^4 T}\right)$ を達成し、反復射影法の $O\left(\frac{\ln T}{T} + \frac{1}{\gamma^2 T}\right)$ のバウンドよりもタイトである。
• 'connect4' および 'letter' のUCIデータセットでは、ナードル射影法は収束せず、同じ弱学習者を繰り返し選択するが、新アルゴリズムは優れた性能を発揮する。
• 最大マージン模倣学習タスクでは、残差アルゴリズムがナードル法および反復射影法よりも速く収束し、より低いテスト損失を達成する。
• MSLR-WEB10K順位付けデータセットでは、残差射影法および反復射影法がナードルアプローチよりも、テストセットでの矛盾（違反制約）をより効果的に低減する。
• 理論的分析から、残差機構が射影誤差の累積的影響を制御し、弱学習者でも収束を可能にすることが示された。