[論文レビュー] Variable Metric Stochastic Approximation Theory

Peter Sunehag, Jochen Trumpf+2 more|ArXiv.org|Aug 25, 2009

Advanced Bandit Algorithms Research参考文献 15被引用数 17

ひとこと要約

本稿は、変動メトリック確率的近似の収束理論を確立し、適応的ヘシアン近似を用いるオンライン最適化手法—例えばオンラインBFGSやLBFGS—が一般条件下で収束することを証明する。主な貢献は、メトリックが時間とともに安定化しなくても、機械学習の広範な目的関数に対して関数値でO(1/t)の収束を示す、きめ細やかな理論的基盤を提供することにある。

ABSTRACT

We provide a variable metric stochastic approximation theory. In doing so, we provide a convergence theory for a large class of online variable metric methods including the recently introduced online versions of the BFGS algorithm and its limited-memory LBFGS variant. We also discuss the implications of our results for learning from expert advice.

研究の動機と目的

• オンライン学習設定における可変メトリック確率的近似の理論的枠組みを構築すること。
• 最小限の仮定の下で、oBFGS や oLBFGS のようなオンライン準ニュートン法の収束を証明すること。
• 既存の確率的近似理論を拡張し、メトリックが漸近的形に収束する必要がないことを示すこと。
• Bregman損失を用いた専門家アドバイスからの学習における影響を分析すること。
• 適応的メトリックがオンライン最適化で最適収束レートを保証する条件を確立すること。

提案手法

• 時変メトリック更新の分析に、Robbins-Siegmundの確率的収束定理を用いる。
• オンライン更新を $ w_{t+1} = w_t - a_t B_t \nabla_w C(w_t, z_t) $ としてモデル化し、$ B_t $ を正定値対称行列とする。
• ヘシアン近似が固有値および勾配に関する所定の条件を満たすことを確認することで、オンラインBFGSおよびLBFGSへの理論的適用を実施する。
• 非線形再パラメータ化における確率的勾配降下法として、専門家アドバイスアルゴリズムを再解釈する。
• 数値的安定性を保証するため、$ B_t $ の最大固有値を制限するための信頼領域パrameter $ \lambda $ を導入する。
• 再パラメータ化関数のヤコビアンの固有値が一様に有界であることを確認することで収束を確立し、有効なメトリックスケーリングを保証する。

実験結果

リサーチクエスチョン

• RQ1 メトリックが固定された漸近的形に収束しなくても、可変メトリック確率的近似は収束可能か？
• RQ2 オンライン準ニュートン法において、関数値でO(1/t)の収束を保証する条件は何か？
• RQ3 専門家アドバイスにおけるBregman損失は、可変メトリックを用いた確率的勾配降下法とどのように関係するか？
• RQ4 勾配およびヘシアン近似に関する一般仮定の下で、オンラインBFGSおよびLBFGSは理論的に正当化可能か？
• RQ5 非線形再パラメータ化がオンライン学習で最適収束レートをもたらす条件は何か？

主な発見

• 本稿は、データ到着の制限によって制限される最良のレートに一致する、広範なオンライン目的関数に対して関数値でO(1/t)の収束を証明する。
• メトリック行列 $ B_t $ が固定極限に収束することを要件としないで収束が確立されており、先行研究を拡張する。
• 勾配が有界で、スケーリング行列の固有値が一様に有界であるという弱い仮定の下で、オンラインBFGSおよびLBFGSが収束することが示される。
• Bregman損失を用いた専門家アドバイスからの学習に理論が適用可能であり、このような更新は可変メトリックを用いたSGDとして解釈可能である。
• $ B_t $ の条件数が無限大に発散するのを防ぐために、信頼領域パrameter $ \lambda $ が導入され、安定性が保証される。
• ヘシアン近似が下限および上限の固有値の境界を維持していれば、完全に安定化していなくてもo(L)BFGSの収束が保証される。