[論文レビュー] MixedGrad: An O(1/T) Convergence Rate Algorithm for Stochastic Smooth Optimization

Mehrdad Mahdavi, Rong Jin|arXiv (Cornell University)|Jul 26, 2013

Stochastic Gradient Optimization Techniques参考文献 18被引用数 11

ひとこと要約

この論文では、スムーズな確率的最適化において、O(1/T)の収束レートを達成するため、確率的勾配オラクルと完全勾配オラクルを組み合わせた最適化アルゴリズムであるMixedGradを提案する。これは、標準的なSGDのO(1/√T)レートよりも著しく速い。O(ln T)回の完全勾配オラクル呼び出しとO(T)回の確率的オラクル呼び出しにより、Smoothnessをより効果的に活用し、確率的勾配法と完全勾配法の間のギャップを埋める。

ABSTRACT

It is well known that the optimal convergence rate for stochastic optimization of smooth functions is $O(1/\sqrt{T})$, which is same as stochastic optimization of Lipschitz continuous convex functions. This is in contrast to optimizing smooth functions using full gradients, which yields a convergence rate of $O(1/T^2)$. In this work, we consider a new setup for optimizing smooth functions, termed as {\bf Mixed Optimization}, which allows to access both a stochastic oracle and a full gradient oracle. Our goal is to significantly improve the convergence rate of stochastic optimization of smooth functions by having an additional small number of accesses to the full gradient oracle. We show that, with an $O(\ln T)$ calls to the full gradient oracle and an $O(T)$ calls to the stochastic oracle, the proposed mixed optimization algorithm is able to achieve an optimization error of $O(1/T)$.

研究の動機と目的

• スムーズ関数に対する確率的勾配降下法（SGD）の収束が、勾配の分散による制限でO(1/√T)に留まることを改善すること。
• 確率的勾配オラクルと完全勾配オラクルの両方へのアクセスが、スムーズ最適化における収束の加速に顕著に寄与するかを調査すること。
• 周期的な完全勾配評価を組み込むことで、標準的なSGDよりも損失関数のスムーズネスをより効果的に活用する実用的なアルゴリズムを設計すること。
• スムーズな設定において、完全勾配法のO(1/T)レートと確率的勾配法のO(1/√T)レートの間のギャップを埋めること。

提案手法

• 確率的オラクル（サンプルされた関数値を返す）と完全勾配オラクル（全データセット上の正確な勾配を返す）の両方にアクセス可能な、新たな最適化フレームワーク「ミックスド最適化」を導入する。
• 確率的勾配ステップと完全勾配更新を交互に実行するMixedGradを設計し、完全勾配を用いて分散を低減し、収束を加速する。
• 再帰的更新ルールを採用し、確率的勾配と周期的な完全勾配補正を組み合わせることで、誤差の増大を低く抑える。
• マルティンゲールに対するベルンシュタインの不等式を用いて、確率的勾配が期待値からどれほど逸脱するかを制限し、高確率での収束保証を可能にする。
• スムーズ性の仮定の下での収束を分析し、完全勾配呼び出しがO(ln T)回行われる場合、誤差がO(1/T)で減少することを示す。
• 問題の再パラメータライゼーションを可能にするシフト不変変換を適用し、最適化経路と誤差境界の tighter 分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配と完全勾配の両方のオラクルを組み合わせることで、スムーズ関数に対して標準的なSGDよりも速い収束レートが達成可能か？
• RQ2 収束を最も速くするために、完全勾配呼び出し回数と確率的勾配呼び出し回数の最適なトレードオフは何か？
• RQ3 少数の完全勾配評価を活用することで、スムーズな確率的最適化でO(1/T)の収束レートを達成することは可能か？
• RQ4 確率的勾配の分散が標準的なSGDの収束レートをどのように制限するか、そして周期的な完全勾配補正によってこれを緩和できるか？
• RQ5 スムーズで強く凸でない設定において、ハイブリッドな確率的・完全勾配アルゴリズムにどのような理論的保証を立てられるか？

主な発見

• MixedGradは、スムーズな確率的最適化においてO(1/T)の収束レートを達成する。これは、標準的なSGDのO(1/√T)レートよりも著しく速い。
• このレートを達成するには、完全勾配オラクルをO(ln T)回、確率的オラクルをO(T)回呼び出すだけで十分である。
• その改善は、周期的な完全勾配更新による勾配分散の低減に起因し、最適化経路の安定化に寄与する。
• 理論的分析により、誤差境界は最適解のノルムとスムーズネスパラメータに依存し、マルティンゲールの集中不等式を用いて高確率での収束保証が得られる。
• この方法は、損失関数が強く凸でない場合でも、標準的な確率的手法では得られないほど、スムーズネスを効果的に活用する。
• O(1/T)の収束レートは、完全勾配情報が使用されない純粋なSGDでは達成不可能であるが、完全勾配情報を効率的に使用することで実現可能になる。