[論文レビュー] Optimization by gradient boosting

Gérard Biau, Benoı̂t Cadre|arXiv (Cornell University)|Jul 17, 2017

Statistical Methods and Inference被引用数 5

ひとこと要約

本稿は勾配ブースティングのための厳密な機能最適化フレームワークを提供し、反復回数が増加するにつれてFriedmanらおよびMasonらのアルゴリズムの収束を証明する。強い凸性と$L^2$正則化が、早期停止を必要としない一貫性と統計的正則化を保証することを確立する。

ABSTRACT

Gradient boosting is a state-of-the-art prediction technique that sequentially produces a model in the form of linear combinations of simple predictors---typically decision trees---by solving an infinite-dimensional convex optimization problem. We provide in the present paper a thorough analysis of two widespread versions of gradient boosting, and introduce a general framework for studying these algorithms from the point of view of functional optimization. We prove their convergence as the number of iterations tends to infinity and highlight the importance of having a strongly convex risk functional to minimize. We also present a reasonable statistical context ensuring consistency properties of the boosting predictors as the sample size grows. In our approach, the optimization procedures are run forever (that is, without resorting to an early stopping strategy), and statistical regularization is basically achieved via an appropriate $L^2$ penalization of the loss and strong convexity arguments.

研究の動機と目的

• 勾配ブースティングアルゴリズムを$L^2$空間で統一的な機能最適化フレームワークとして分析するための枠組みを構築すること。
• 反復回数が無限大に近づくにつれて、勾配ブースティングの反復が経験的リスク関数の最小化者に収束することを証明すること。
• 強い凸性と$L^2$正則化が、統計的一致性および正則化を達成する上で果たす役割を明確にすること。
• リスク関数が強く凸であり、適切に正則化されている限り、早期停止が正則化に不要であることを示すこと。
• XGBoostのようなシステムにおけるアルゴリズム的選択（例：目的関数の正則化）の理論的裏付けを提供すること。

提案手法

• 勾配ブースティングをヒルバート空間上の関数の無限次元凸最適化問題として定式化する。
• Friedman（2001）およびMasonら（2000）の2つの主要なバリアントを、$L^2$空間における機能的勾配降下を用いて分析する。
• 凸で微分可能な損失関数の反復的最小化を通じて収束を研究する一般的なフレームワークを導入する。
• リスク関数の強い凸性を用いて、最小化者の一意性と安定性を保証する。
• $L^2$正則化を用いて統計的正則化を達成し、早期停止の必要性を排除する。
• Dudleyの不等式とサブガウス過程理論を用いて、木分割によって定義される関数族上の経験過程の乖離を制限する。

実験結果

リサーチクエスチョン

• RQ1 反復回数が増加するにつれて、勾配ブースティングが経験的リスク関数の最小化者に収束する条件は何か？
• RQ2 リスク関数の強い凸性は、勾配ブースティングアルゴリズムの収束性と安定性にどのように影響するか？
• RQ3 早期停止を伴わずに勾配ブースティングにおける統計的正則化を達成できるか？もし可能であれば、その方法は何か？
• RQ4 サンプルサイズが増加する際、$L^2$正則化がブースティング予測子の一貫性を保証する上で果たす役割は何か？
• RQ5 勾配ブースティングの理論的性質は、損失関数の選択およびベースラーナーの構造にどのように依存するか？

主な発見

• 反復回数が無限大に近づくにつれて、ブースティングの反復列は、$L^2$ノルムにおいて、経験的リスク関数の最小化者にほとんど確実に収束する。
• リスク関数の強い凸性は、収束性と解の一意性を保証するために不可欠である。
• リスク関数が強く凸であり、損失関数が適切に正則化されている限り、サンプルサイズが増加するにつれてブースティング予測子の統計的一致性が達成される。
• $L^2$正則化は、損失関数に対する有効な正則化形式であり、一貫性を達成するために早期停止を必要としない。
• 経験過程の乖離の収束速度はDudleyの不等式によって制御され、条件$\frac{1}{\sqrt{nv_n\gamma_n}}\zeta\left(\sqrt{\frac{2\bar{\phi}}{v_n\gamma_n\inf_{\mathscr{X}}g}}\right)\to 0$が満たされると、その境界は0に収束する。
• 理論的フレームワークは、XGBoostにおける設計選択、特に過学習を防ぐ目的で目的関数に正則化を導入する手法の正当性を裏付ける。