[論文レビュー] Accelerated proximal boosting

Erwan Fouillen, Claire Boyer+1 more|arXiv (Cornell University)|Aug 2, 2018

Domain Adaptation and Few-Shot Learning被引用数 1

ひとこと要約

本稿では、非微分可能な経験的リスクを最適化するために、Proximal法とNesterovの加速を統合した、加速されたProximalブースティングという新しいブースティングフレームワークを提案する。Proximal更新と加速勾配降下を活用することで、標準的な勾配ブースティングと比較して、収束速度が速く、予測精度が向上する。

ABSTRACT

Gradient boosting is a prediction method that iteratively combines weak learners to produce a complex and accurate model. From an optimization point of view, the learning procedure of gradient boosting mimics a gradient descent on a functional variable. This paper proposes to build upon the proximal point algorithm when the empirical risk to minimize is not differentiable. In addition , the novel boosting approach, called accelerated proximal boosting, benefits from Nesterov's acceleration in the same way as gradient boosting [Biau et al., 2018]. Advantages of leveraging proximal methods for boosting are illustrated by numerical experiments on simulated and real-world data. In particular, we exhibit a favorable comparison over gradient boosting regarding convergence rate and prediction accuracy.

研究の動機と目的

• 非微分可能な経験的リスクを最小化する際の勾配ブースティングの限界を解消すること。
• 最適化の安定性を向上させるために、Proximal点アルゴリズムをブースティングフレームワークに拡張すること。
• ブースティングにNesterovの加速を組み込むことで、収束速度を向上させること。
• シミュレートデータおよび実世界のデータセット上で、本手法の性能を実験的に評価すること。

提案手法

• 非微分可能な損失関数に対して、経験的リスクの最小化を関数最適化問題として定式化し、Proximal点アルゴリズムを用いる。
• Proximal更新にNesterovの加速技術を適用することで、関数空間内での収束を高速化する。
• 正則化された、経験的リスクのProximal近似を最小化することで、弱学習器を反復的に更新する。
• Proximal項のおかげで、損失関数が滑らかでない場合でも安定性と収束性が保証される。
• 更新ルールは、Nesterovの最適な一次元法にインspiredされた、勾配降下ステップとモーメンタム型加速を組み合わせたものである。
• 本手法はブースティングの加法的構造を維持しつつ、Proximalおよび加速成分のおかげで最適化ダイナミクスを改善する。

実験結果

リサーチクエスチョン

• RQ1 非微分可能な経験的リスク関数を最小化する際、Proximal法は勾配ブースティングの最適化安定性を向上させ得るか？
• RQ2 ブースティングフレームワークにNesterovの加速を組み込むことで、収束速度が向上するか？
• RQ3 予測精度の観点から、加速されたProximalブースティングは標準的な勾配ブースティングと比べてどのように異なるか？
• RQ4 提案手法は、シミュレートデータおよび実世界のデータセットの両方で、ロバスト性と性能を維持できるか？

主な発見

• Nesterovの加速を統合したことで、加速されたProximalブースティングは、標準的な勾配ブースティングよりも収束が速い。
• シミュレートデータおよび実世界のデータセットの両方で、ベースラインの勾長ブースティングと比較して、本手法はより高い予測精度を示した。
• Proximal更新の使用により、非微分可能な経験的リスク関数を最小化する際の安定性が向上した。
• 数値実験により、加速されたバージョンが収束速度および最終的なモデルの精度の両面で、標準的な勾長ブースティングを上回ることが確認された。