[論文レビュー] Simultaneous Model Selection and Optimization through Parameter-free Stochastic Learning

Francesco Orabona|arXiv (Cornell University)|Jun 15, 2014

Stochastic Gradient Optimization Techniques参考文献 42被引用数 27

ひとこと要約

本稿では、ハイパーパramータや交差検証を必要とせず、同時にモデル選択と最適化を実行するパラメータフリーな確率的勾配降下法、PiSTOLを提案する。オンラインミラー降下の原則に従い、データに依存する方法でステップサイズを動的に調整することで、標準的な滑らかさの仮定の下で無限次元の再生核ヒルベルト空間（RKHS）において最適収束速度を達成する。

ABSTRACT

Stochastic gradient descent algorithms for training linear and kernel predictors are gaining more and more importance, thanks to their scalability. While various methods have been proposed to speed up their convergence, the model selection phase is often ignored. In fact, in theoretical works most of the time assumptions are made, for example, on the prior knowledge of the norm of the optimal solution, while in the practical world validation methods remain the only viable approach. In this paper, we propose a new kernel-based stochastic gradient descent algorithm that performs model selection while training, with no parameters to tune, nor any form of cross-validation. The algorithm builds on recent advancement in online learning theory for unconstrained settings, to estimate over time the right regularization in a data-dependent way. Optimal rates of convergence are proved under standard smoothness assumptions on the target function, using the range space of the fractional integral operator associated with the kernel.

研究の動機と目的

• カーネル法における確率的勾配降下のモデル選択という長年の課題に取り組む。最適な性能はステップサイズに強く依存するが、事前に正確に得られることがめったになく、その問題を解決する。
• 交差検証や最適解のノルムなどの問題固有の特性に関する事前知識を必要としない。
• 理論的裏付けに基づいたパラメータフリーなアルゴリズムを開発し、トレーニング中に正則化を暗黙的に適応させる。これにより、有限標本における最適収束速度を達成する。
• オンライン凸最適化（OCO）と確率的学習のギャップを埋める。制約なしOCOのツールをカーネル法を用いた確率的設定に拡張する。

提案手法

• アルゴリズムは、カーネルの分数階積分作用素に基づくBregman散発に基づくオンラインミラー降下（OMD）から導かれた、データに依存するステップサイズスケジュールを用いる。
• 観測された勾配ノルムと累積損失に基づいて学習率を動的に調整することで、正則化を暗黙的に行い、明示的なハイパーパramータチューニングを回避する。
• カーネルに関連する分数階積分作用素の値域空間を活用し、滑らかさの仮定の下で収束バウンドを導出する。
• 敵対的設定における新しいレジレット解析を採用し、これを確率的設定に拡張することで、有限標本収束速度を導出する。
• 標準的なSGDと同等の計算複雑性を維持するため、ストリーミングデータに対してスケーラブルで実用的である。
• 指数型勾配法にインspiredされたパラメータフリーな更新ルールを用いることで、検証セットやグリッドサーチを必要とせず、適応性を確保する。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配降下法が、ハイパーパramータチューニングや交差検証を必要とせず、トレーニング中にモデル選択を暗黙的に行うことは可能か？
• RQ2 滑らかさの仮定の下で、無限次元のRKHSにおけるカーネルベースの学習で達成可能な最適収束速度は何か？
• RQ3 オンラインミラー降下をどのように変更すれば、確率的設定においてデータ依存の正則化を実現するパラメータフリーな学習が可能になるか？
• RQ4 最適解のノルムやその他の内在的問題パrameterに関する事前知識がなくても、トレーニングデータのみで最適な収束速度を達成することは可能か？

主な発見

• PiSTOLは、$ H $-滑らかで$ L $-リプシッツな損失の下で、$ T^{-\frac{2\beta}{\beta+1}} $ の収束速度を達成する。ここで$ \beta \in (0,1) $ は、ターゲット関数の滑らかさを特徴付ける。
• ハイパーパramータを一切チューニングする必要がなく、交差検証や最適解のノルムに関する事前知識を必要としない。
• 敵対的設定におけるレジレットバウンドは$ O(T^{-\frac{2\beta}{\beta+1}}) $ であり、これが確率的設定における有限標本収束の最適性を示す。
• 適応的ステップサイズにより正則化を暗黙的に行い、最適な正則化が事前に分かっているかのように同等の性能を達成する。
• 理論的解析により、アルゴリズムの収束速度が与えられた滑らかさクラスにおけるミニマックス下界と一致することが示され、最適性が確認された。
• 実験的結果により、PiSTOLが標準的なSGDや交差検証に基づく手法よりも一般化性能と学習効率において優れていることが示された。特に高次元空間や非i.i.d.な設定において顕著である。