[論文レビュー] Acceleration and Averaging in Stochastic Mirror Descent Dynamics

Walid Krichene, Peter L. Bartlett|arXiv (Cornell University)|Jul 19, 2017

Stochastic Gradient Optimization Techniques参考文献 27被引用数 4

ひとこと要約

本稿は、連続時間のストキャスティック微分方程式（SDE）フレームワークを用いて、加速されたミラー降下ダイナミクスの確率的変種を導入し、分析している。エネルギー関数を用いた解析により、継続的でかつ徐々に消えるノイズの下での関数値の収束速度を確立し、ノイズの共分散が最適パラメータ選択と収束速度に顕著に影響することを示している。これは、時間スケーリングによって収束を人工的に加速できる決定論的ケースとは異なり、ノイズの再スケーリング効果のため、確率的ケースではそのような加速が不可能であることを示している。

ABSTRACT

We formulate and study a general family of (continuous-time) stochastic dynamics for accelerated first-order minimization of smooth convex functions. Building on an averaging formulation of accelerated mirror descent, we propose a stochastic variant in which the gradient is contaminated by noise, and study the resulting stochastic differential equation. We prove a bound on the rate of change of an energy function associated with the problem, then use it to derive estimates of convergence rates of the function values, (a.s. and in expectation) both for persistent and asymptotically vanishing noise. We discuss the interaction between the parameters of the dynamics (learning rate and averaging weights) and the covariation of the noise process, and show, in particular, how the asymptotic rate of covariation affects the choice of parameters and, ultimately, the convergence rate.

研究の動機と目的

• ノイズのある勾配の下での加速された一次順序最適化のための連続時間確率的ダイナミクスモデルの構築。
• ノイズのある勾配推定を伴う確率的設定において、加速ミラー降下の平均化形式を拡張すること。
• 継続的でかつ漸近的に消えるノイズの下での関数値の収束行動の分析。
• ノイズ過程の共分散が学習率および平均化パラメータの選択に与える影響の調査。
• 時間スケーリングが、決定論的ケースと同様に収束を人工的に加速できないことの実証。これは、ノイズの再スケーリング効果によるものである。

提案手法

• 時間依存の学習率 η(t)、平均化重み a(t)、ノイズスケーリング s(t) を持つ連続時間SDEとして、ストキャスティック加速ミラー降下（SAMD）ダイナミクスを提案。
• システム状態の変化率を制限するためのエネルギー関数を導入し、収束速度の解析を可能にする。
• 伊藤の補題と時間変換変換を用いて、確率性がダイナミクスに与える影響、特にノイズの共分散への影響を分析。
• エネルギー関数とパラメータ制約を用いて、f(x(t)) − f(x⋆) の確実かつ期待値の意味での収束バウンドを導出。
• SDEにおける時間再パrameter化 γ(t) の影響を分析し、ノイズ共分散が 1/γ̇(t)² に比例してスケーリングされることを示し、人工的加速を防ぐ。
• ノイズが消えるとき、ダイナミクスが一般化された加速ミラー降下ODEの形を満たすことを確立し、従来の決定論的結果と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 勾配にノイズが含まれる場合、連続時間における加速ミラー降下の収束速度にどのような影響を与えるか？
• RQ2 ノイズの共分散が、最適な学習率および平均化パラメータの選択に果たす役割は何か？
• RQ3 時間再パラメータ化は、決定論的ケースと同様に、確率的設定で収束を加速するために使用可能か？
• RQ4 η(t)、a(t)、s(t) のパラメータが、継続的および消えるノイズ下での収束をどのように制御するか？
• RQ5 ミラー写像 ∇ψ* が、確率的ダイナミクスの安定性および収束に与える影響は何か？

主な発見

• 適切なパラメータ条件（a = η/r および η ≥ ṙ）の下で、関数値ギャップ f(x(t)) − f(x⋆) が L(x₀,z₀,t₀)/r(t) で有界であることを証明し、収束速度が O(1/r(t)) であることを示している。
• 継続的ノイズの下では、r(t) = t のとき収束速度が O(1/t) で有界であり、そのバウンドはノイズ共分散構造に依存する。
• 漸近的に消えるノイズの下でも、同じパラメータ条件の下で収束速度は依然として O(1/t) であり、エネルギー関数の減少がこのレートで行われる。
• 時間再パラメータ化 γ(t) は、ノイズ共分散が 1/γ̇(t)² に比例してスケーリングされるため、確率的ケースでは人工的加速を許さないことが分析で示された。
• エネルギー関数の減少レートは f(x(t)) から f(x⋆) への収束と直接関連しており、この減少は η(t)、a(t)、およびノイズ構造の相互作用によって支配される。
• ノイズ共分散を適切に調整する限り、確率的ダイナミクスは時間再パラメータ化に対して不変であることが示され、決定論的ケースとは根本的に異なる点を強調している。