[論文レビュー] On the convergence of gradient-like flows with noisy gradient input

Panayotis Mertikopoulos, Mathias Staudigl|arXiv (Cornell University)|Nov 21, 2016

Stochastic Gradient Optimization Techniques参考文献 58被引用数 9

ひとこと要約

この論文は、制約付き凸最適化におけるノイズの多い勾配入力下でのミラー降下ダイナミクスの収束を分析する。ノイズが消える極限では解集合への確実収束を確立し、持続的ノイズ下では内部解の周囲に濃縮され、ノイズの大きさに依存しない収束を保証する修正版を提案。明示的な収束レートの境界も提示。

ABSTRACT

In view of solving convex optimization problems with noisy gradient input, we analyze the asymptotic behavior of gradient-like flows under stochastic disturbances. Specifically, we focus on the widely studied class of mirror descent schemes for convex programs with compact feasible regions, and we examine the dynamics' convergence and concentration properties in the presence of noise. In the vanishing noise limit, we show that the dynamics converge to the solution set of the underlying problem (a.s.). Otherwise, when the noise is persistent, we show that the dynamics are concentrated around interior solutions in the long run, and they converge to boundary solutions that are sufficiently "sharp". Finally, we show that a suitably rectified variant of the method converges irrespective of the magnitude of the noise (or the structure of the underlying convex program), and we derive an explicit estimate for its rate of convergence.

研究の動機と目的

• 勾配入力がノイズで汚されている場合の勾配類似フローの漸近的挙動を理解すること。
• コンpactな実行可能集合を持つ制約付き凸計画問題における確率的摂動下でのミラー降下ダイナミクスを分析すること。
• 持続的ノイズ下でも解に収束する条件を確立すること。
• ノイズレベルや問題構造に依存せずに収束を保証する修正ミラー降下変種を提案すること。

提案手法

• ノイズのあるミラー降下ダイナミクスをイト過程を伴う確率的微分方程式としてモデル化する。
• フォッカー・プランク方程式と不変測度を用いて、持続的ノイズ下での長期的分布的挙動を特徴付ける。
• アレクサンドロフの定理と滑らかでないミラー写像および勾配関数を取り扱うための滑らか化技術を適用する。
• Fenchelカップリングを用いたリャプノフ型解析により収束境界を導出する。
• トレース不等式と勾配のリプシッツ連続性を用いて、修正ミラー降下変種の明示的収束レートを導出する。
• エルゴディシティおよび不変測度理論を活用して、最適解の周囲における軌道の濃縮を分析する。

実験結果

リサーチクエスチョン

• RQ1 勾配入力が消えるノイズ下で、ミラー降下ダイナミクスが最適解集合に収束する条件は何か？
• RQ2 持続的確率的摂動は、制約付き凸計画問題におけるミラー降下軌道の長期的濃縮にどのように影響するか？
• RQ3 ノイズの大きさや問題構造に依存せず収束を保証する修正されたミラー降下変種は存在するか？
• RQ4 一般の凸計画問題下で、そのような修正版の明示的収束レートは何か？
• RQ5 確率的ダイナミクスの不変測度は、最適性集合とノイズ強度の関係においてどのように関連するか？

主な発見

• ノイズが消える極限では、ミラー降下ダイナミクスは解集合への確実収束を示す。
• 持続的ノイズ下では、ダイナミクスは内部解の周囲に濃縮され、十分に「鋭い」境界解に収束する。
• 修正ミラー降下変種は、ノイズの大きさや凸計画問題の構造に依存せず収束を保証する。
• 修正手法は、勾配のリプシッツ定数とノイズ強度に依存する明示的収束レート境界を達成する。
• ノイズ付きダイナミクスの不変分布は $ e^{-2f(x)/\sigma^2} \, dx $ に比例し、ノイズが小さくなると最小値点付近に指数的濃縮が生じることを示唆する。
• 修正版では、Fenchelカップリングが収束を保証するドリフト不等式を満たし、その境界にはノイズ共分散行列のトレースが関与する。