[論文レビュー] Online Gradient Boosting

Alina Beygelzimer, Elad Hazan+2 more|arXiv (Cornell University)|Jun 16, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用数 33

ひとこと要約

この論文は、回帰問題におけるオンライン勾配ブースティングアルゴリズムを導入し、バッチブースティング理論をオンライン学習へと拡張する。2つのアルゴリズムを提案する：1つ目は、オンライン勾配降下法を用いて基本関数の線形結合と競合するもので、指数的収束を達成する。2つ目は、凸結合と競合するより単純なアルゴリズムで、定数要因を除いて最適なレグレットバウンドが保証されており、理論的レグレットバウンドと実世界のデータセットにおける実験的検証を両方とも提供する。

ABSTRACT

We extend the theory of boosting for regression problems to the online learning setting. Generalizing from the batch setting for boosting, the notion of a weak learning algorithm is modeled as an online learning algorithm with linear loss functions that competes with a base class of regression functions, while a strong learning algorithm is an online learning algorithm with convex loss functions that competes with a larger class of regression functions. Our main result is an online gradient boosting algorithm which converts a weak online learning algorithm into a strong one where the larger class of functions is the linear span of the base class. We also give a simpler boosting algorithm that converts a weak online learning algorithm into a strong one where the larger class of functions is the convex hull of the base class, and prove its optimality.

研究の動機と目的

• バッチ設定からのブースティング理論を、回帰問題のオンライン学習へと拡張すること。
• 滑らかな凸損失関数を伴うオンライン学習問題として、オンラインブースティングを定式化し、より広いクラスの回帰関数と競合すること。
• 基本クラスの線形スパン上で強い学習者に変換するオンライン勾配ブースティングアルゴリズムを開発すること。
• 基本関数の凸包と競合するより単純なアルゴリズムを設計し、その最適性（レグレットバウンドの観点から）を証明すること。
• 提案されたアルゴリズムを多様な基本学習者を用いて実データセットで実験的に検証し、性能向上を示すこと。

提案手法

• 弱学習を、基本関数クラスとの間で線形損失関数を用いたオンライン線形学習としてモデル化し、回帰関数の基本クラスと競合する。
• 勾配降下法を繰り返し用いて弱仮説を組み合わせるオンライン勾配ブースティングアルゴリズムを導入し、基本関数の線形スパン上のレグレットを最小化する。
• 凸包の場合には、Frank-Wolfeスタイルの技術を用いて解析し、定数要因を除いて最適なレグレット収束を保証する。
• パラメータλによる基本関数クラスの適応的スケーリングを導入し、ノルムの低減とパラメータの増加のバランスを取ることで、レグレットバウンドを改善する。
• アルゴリズムはVowpal Wabbitに実装され、14個の公開データセットを用いたプログレッシブバリデーションで評価され、二乗損失を用いる。
• 理論的解析では、オンラインレグレット最小化を活用し、バッチブースティング（例：ZhangとYu）の技術をオンライン設定に適応する。これとは別に、先行のオンラインブースティング研究とは異なる、独自の証明技術を用いる。

実験結果

リサーチクエスチョン

• RQ1 回帰問題のブースティングは、理論的保証を伴ってオンライン学習設定へと一般化可能か？
• RQ2 基本関数の線形スパンと競合するオンライン勾配ブースティングアルゴリズムを構築可能か？ そして、高速な収束を達成できるか？
• RQ3 基本関数の凸包と競合するより単純なオンラインブースティングアルゴリズムは存在するか？ そして、そのレグレットバウンドが最適か？
• RQ4 実際の応用において、オンラインブースティングの性能は、さまざまな種類の弱学習者と比較してどうなるか？
• RQ5 提案されたオンラインブースティングアルゴリズムは、バッチ設定での収束速度を向上させるために適応可能か？

主な発見

• 基本関数の線形スパンと競合するオンライン勾配ブースティングアルゴリズムは、指数的収束を達成し、ZhangとYuのバッチアルゴリズムよりも収束速度が優れている。
• より単純なアルゴリズム（凸包と競合）は、Frank-Wolfe解析により、定数要因を除いて最適なレグレットバウンドを達成することが証明された。
• 実験では、回帰スティンプを用いたブースティングにより、ベースラーナー比で平均20.22%の二乗損失の相対的改善が得られ、弱学習者に対して顕著な向上が確認された。
• より強力なベースラーナー（SGD やニューラルネットワーク）では、改善は小さい（平均1.65%および7.88%）であり、ブースティングが弱学習者に対して最も効果的であることが示された。
• パラメータλによる基本関数クラスのスケーリングにより、レグレットバウンドをさらに改善可能であり、適切にλを設定した場合に実験的にも恩恵が得られた。
• アルゴリズムフレームワークは、バッチ設定においても収束保証を向上させ、オンライン手法が古典的ブースティングへも一般化可能であることを示した。