[論文レビュー] A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization

Vineet Gupta, Tomer Koren+1 more|arXiv (Cornell University)|Jun 20, 2017

Sparse and Compressive Sensing Techniques参考文献 1被引用数 9

ひとこと要約

本稿は、正定値行列上のフォローザリーダー（FTL）手法として、オンラインおよび確率的最適化における適応的正則化の統一的枠組みを提示する。潜在関数Φを用いて正則化と勾配履歴のバランスを取ることで、収束解析を単純化し、異なるΦの選択によりAdaGrad やオンラインニュートンステップ（ONS）といったよく知られたアルゴリズムを閉形式解で回復する。最小限の技術的負担で明確なレジーレットバウンドが得られる。

ABSTRACT

We describe a framework for deriving and analyzing online optimization algorithms that incorporate adaptive, data-dependent regularization, also termed preconditioning. Such algorithms have been proven useful in stochastic optimization by reshaping the gradients according to the geometry of the data. Our framework captures and unifies much of the existing literature on adaptive online methods, including the AdaGrad and Online Newton Step algorithms as well as their diagonal versions. As a result, we obtain new convergence proofs for these algorithms that are substantially simpler than previous analyses. Our framework also exposes the rationale for the different preconditioned updates used in common stochastic optimization methods.

研究の動機と目的

• データに依存する正則化（前処理）を用いる適応的オンライン最適化アルゴリズムの分析を統一すること。
• AdaGrad や ONS のような適応的手法の導出と解析のための単一で体系的な枠組みを提供すること。
• 正定値行列上でのフォローザリーダー（FTL）問題として適応的正則化を定式化することにより、収束証明を単純化すること。
• 既存の適応的アルゴリズムで用いられる異なる前処理行列の背後にある理由を明確にすること。
• 潜在関数の体系的選択により、新たな適応的アルゴリズムの導出を可能にすること。

提案手法

• 正定値行列 H の空間上で、適応的正則化をフォローザリーダー（FTL）アルゴリズムとして定式化する。
• 正則化行列 H_t を計算するための最小化問題を定義：min_{H≻0} {∑_{s=1}^t ‖g_s‖_H² + Φ(H)}。
• 異なる潜在関数Φを用いて既知のアルゴリズムを回復する：AdaGrad に対して Φ(H) = Tr(H⁻¹)，ONS に対して Φ(H) = -log|H|。
• H を対角行列または単位行列の正のスカラー倍に制限することで、対角型およびスカラー型の変種を導出する。
• 凸および強凸な設定の両方に対してフレームワークを適用し、FTL解析を用いてレジーレットバウンドを導出する。
• ミラー降下と双対性を用いてレジーレットを分析し、潜在関数の構造と行列ノルムの性質を活用する。

実験結果

リサーチクエスチョン

• RQ1 AdaGrad や ONS のような適応的オンライン最適化アルゴリズムの導出と解析を統一するためのフレームワークは、どのように構築できるか？
• RQ2 潜在関数Φが前処理行列 H_t の構造に果たす役割は何か？
• RQ3 なぜ異なる適応的アルゴリズムが異なる正則化形を用いるのか、そしてこれは体系化可能か？
• RQ4 統一的FTLベースのアプローチを用いることで、適応的手法の収束解析を単純化できるか？
• RQ5 行列空間の制限（例：対角、スカラー）が、実用的で効率的なアルゴリズムの導出に与える影響は何か？

主な発見

• Φ(H) = Tr(H⁻¹) および Φ(H) = -log|H| を選ぶことで、フレームワークはそれぞれAdaGradとONSを特別なケースとして回復する。H_t については閉形式解が得られる。
• AdaGrad では前処理行列は H_t = (∑_{s=1}^t g_s g_s^T)^{-1/2} であり、ONS では H_t = (∑_{s=1}^t g_s g_s^T)^{-1} である。
• H を対角行列に制限することで、AdaGrad および ONS の対角バージョンが得られ、同じ解析的構造を保つ。
• H を単位行列の正のスカラー倍に制限することでスカラー変種が得られ、適応的学習率 η_t ∝ 1 / (ε + ∑_{s=1}^t ‖g_s‖²) が得られる。
• 強凸の場合、フレームワークはレジーレットバウンド O(log T) を得る。具体的には、α-強凸かつγ-Lipschitz関数に対して ≤ (γ²/α)(8 + log T) が成り立つ。
• 問題を行列上でのFTLとして定式化することで、先行研究で用いられる複雑な技術的導出を避けることができ、解析が著しく単純化される。