[論文レビュー] Online Stochastic Gradient Descent with Arbitrary Initialization Solves Non-smooth, Non-convex Phase Retrieval

Tan Yan, Roman Vershynin|arXiv (Cornell University)|Oct 28, 2019

Advanced X-ray Imaging Techniques参考文献 32被引用数 13

ひとこと要約

この論文は、任意の初期化から出発する非滑らかで非凸な位相再構成に対して、定数ステップサイズを用いたオンライン確率的勾配降下法（SGD）が、$ Omega(d\log d)$ 個のガウス測定値のみを用いても、グローバル最小値に収束することを証明している。主な貢献は、要約状態空間と確率過程理論を用いた新規な解析フレームワークであり、スペクトル初期化を必要とせず、2段階手法を超える理論駆動型非凸最適化への大きな一歩を示している。

ABSTRACT

In recent literature, a general two step procedure has been formulated for solving the problem of phase retrieval. First, a spectral technique is used to obtain a constant-error initial estimate, following which, the estimate is refined to arbitrary precision by first-order optimization of a non-convex loss function. Numerical experiments, however, seem to suggest that simply running the iterative schemes from a random initialization may also lead to convergence, albeit at the cost of slightly higher sample complexity. In this paper, we prove that, in fact, constant step size online stochastic gradient descent (SGD) converges from arbitrary initializations for the non-smooth, non-convex amplitude squared loss objective. In this setting, online SGD is also equivalent to the randomized Kaczmarz algorithm from numerical analysis. Our analysis can easily be generalized to other single index models. It also makes use of new ideas from stochastic process theory, including the notion of a summary state space, which we believe will be of use for the broader field of non-convex optimization.

研究の動機と目的

• 位相再構成におけるスペクトル初期化を必要としないSGDの収束を証明することで、非凸最適化における理論的ギャップを埋めること。
• 定数ステップサイズを用いたオンラインSGDが、非滑らかで非凸な振幅二乗損失目的関数に対してグローバル最小値に収束することを確立すること。
• 確率過程と要約状態空間を用いて、非凸的かつ非滑らかな最適化を分析する一般化可能なフレームワークを開発すること。
• 1次元手法が前処理ステップを回避して任意の初期化から収束可能かどうかを調査すること。
• 凸的・滑らかな領域や滑らか化された目的関数に限定されない、非凸設定におけるSGDの理論的理解を拡張すること。

提案手法

• 非滑らかな位相再構成目的関数 $f(\mathbf{x}) = \frac{1}{2N}\sum_{k=1}^N (|\langle\mathbf{a}^{(k)},\mathbf{x}\rangle| - b^{(k)})^2$ に対して、定数ステップサイズを用いたオンラインSGDを分析する。
• SGDプロセスの本質的ダイナミクスを追跡するための要約状態空間を導入し、高次元状態の進化を扱いやすいマルコフ連鎖に簡略化する。
• ガウス測定ベクトルの回転対称性と $1/d$ ステップサイズスケーリングを用いて、$d \to \infty$ の漸近的状態で収束を示す。
• スーパーマルティングール不等式と尾部確率のバウンドを用いて、望ましい軌道からの逸脱確率を制御する。
• 推定値が解に近い領域における線形収束を、新規な状態空間の議論を用いて確立する。
• このフレームワークを他の単一インデックスモデルに一般化し、低ランク行列センシングへの適用可能性を仮説立てる。

実験結果

リサーチクエスチョン

• RQ1 定数ステップサイズを用いたオンラインSGDは、任意の初期化から出発する非滑らかで非凸な位相再構成において、グローバル最小値に収束可能か？
• RQ2 1次元手法を用いて、位相再構成においてスペクトル初期化の必要性を排除することは可能か？
• RQ3 非滑らかで非凸な設定におけるSGDの収束を分析するための新規な解析フレームワークは何か？
• RQ4 要約状態空間アプローチは、高次元非凸最適化におけるSGDの本質的ダイナミクスをどのように捉えているか？
• RQ5 このフレームワークは、位相再構成を超える他の単一インデックスモデルへ一般化可能か？

主な発見

• 定数ステップサイズを用いたオンラインSGDは、任意の初期化から出発し、非滑らかな振幅二乗損失目的関数に対してグローバル最小値に収束する。
• 収束は $ Omega(d\log d)$ 個のガウス測定値を用いれば保証され、最新の2段階手法と同等のサンプル複雑度を満たす。
• 十分な反復後、誤差が $ left(1 - \frac{1}{2d}\right)^k$ の割合で減少する線形収束を達成する。
• 成功確率は $0.8 - C/\log d - 1/d$ 以上であり、次元 $d$ が増加するにつれて 0.8 に近づく。
• 要約状態空間を用いた解析フレームワークは、適切なリンク関数を備えた他の単一インデックスモデルへ一般化可能である。
• このフレームワークは、多変数の追跡に基づく複雑度測度を提供し、非凸最適化の理解への道筋を示している。