[論文レビュー] On the convergence of mirror descent beyond stochastic convex programming

Zhengyuan Zhou, Panayotis Mertikopoulos+3 more|arXiv (Cornell University)|Jun 18, 2017

Sparse and Compressive Sensing Techniques参考文献 37被引用数 3

ひとこと要約

本稿は、凸性よりも弱い条件である変分的整合性の下で、確率的ミラー降下（SMD）の最後の反復が確率1でグローバル最小値に収束することを確立している。これは、非凸問題においてもSMDの最後の反復が確率1で収束することを示しており、持続的な勾配ノイズが存在する状況でも、鋭い最小値を持つ問題では有限ステップで最小値に到達することが示されている。

ABSTRACT

In this paper, we examine the convergence of mirror descent in a class of stochastic optimization problems that are not necessarily convex (or even quasi-convex), and which we call variationally coherent. Since the standard technique of "ergodic averaging" offers no tangible benefits beyond convex programming, we focus directly on the algorithm's last generated sample (its "last iterate"), and we show that it converges with probabiility $1$ if the underlying problem is coherent. We further consider a localized version of variational coherence which ensures local convergence of stochastic mirror descent (SMD) with high probability. These results contribute to the landscape of non-convex stochastic optimization by showing that (quasi-)convexity is not essential for convergence to a global minimum: rather, variational coherence, a much weaker requirement, suffices. Finally, building on the above, we reveal an interesting insight regarding the convergence speed of SMD: in problems with sharp minima (such as generic linear programs or concave minimization problems), SMD reaches a minimum point in a finite number of steps (a.s.), even in the presence of persistent gradient noise. This result is to be contrasted with existing black-box convergence rate estimates that are only asymptotic.

研究の動機と目的

• 標準の凸性仮定が成り立たない非凸最適化問題における確率的ミラー降下（SMD）の収束を分析すること。
• SMDの最後の反復がグローバル最小値に収束することを保証する、凸性や擬似凸性よりも弱い条件を同定すること。
• グローバル凸性が成立しない、特にマルチモーダルな設定において、局所的に整合性を持つ問題への収束解析を拡張すること。
• 持続的な勾配ノイズ下での鋭い最小値を持つ問題におけるSMDの有限時間収束行動を調査すること。
• 非凸設定において、エルゴード平均化が不要であることを示し、変分的整合性の下では最後の反復が十分であることを示すこと。

提案手法

• 単調性や凸性の一般化として「変分的整合性」の概念を導入し、凸プログラムを超える収束解析を可能にする。
• 鏡写像を用いて勾配更新を可能集合に射影する、双対平均（または「ラクシー」）型SMDを分析する。
• 正定値性および双対性の性質を活用して、最適集合への進行を追跡するFenchelカップリングに基づくリャプノフ関数を用いる。
• マルティンゲール収束定理およびマルティンゲール差分の強大数法則を用いて、最後の反復の確率1収束を示す。
• 局所的に凸でない最小値を持つ非凸でマルチモーダルな問題を扱うために、変分的整合性の局所的バージョンを導入する。
• 有界な$L^2$ノルムの勾配サンプルと二乗可 summable ステップサイズを用いて、ノイズ下での安定性と収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 確率的ミラー降下（SMD）は、凸性や擬似凸性を仮定しない非凸問題においてもグローバル最小値に収束するか？
• RQ2 凸性よりも弱い条件下で、SMDの最後の反復は確率1で収束するか？
• RQ3 より弱い構造的条件である変分的整合性は、SMDの最後の反復の確率1収束を保証できるか？
• RQ4 持続的な勾配ノイズ下での鋭い最小値を持つ問題におけるSMDの収束行動はいかなるものか？
• RQ5 最小値が局所的に凸でない非凸問題において、局所的収束を保証できるか？

主な発見

• 変分的整合性の下では、非凸問題においてもSMDの最後の反復が確率1でグローバル最小値に収束する。
• エルゴード平均化を用いず、最後に生成されたサンプルを直接分析することで収束を確立しており、非凸設定においてより自然である。
• 鋭い最小値を持つ問題（一般線形計画問題や凹最小化問題など）では、持続的な勾配ノイズが存在する状況でも、SMDは確率1で有限ステップで最小値点に到達する。
• 変分的整合性の局所的バージョンにより、最小値が局所的に凸でない場合でも、SMDの局所的収束が高確率で保証される。
• 解析から、(擬似)凸性は収束にとって本質的ではなく、変分的整合性が十分かつ厳密に弱い条件であることが明らかになった。
• Fenchelカップリングがリャプノフ関数として用いられ、その再帰的性質が活用され、反復が確率1で無限回にわたり最適集合に近づくことが示された。