[論文レビュー] Stochastic Approximations and Perturbations in Forward-Backward Splitting for Monotone Operators

Patrick L. Combettes, Jean‐Christophe Pesquet|arXiv (Cornell University)|Jul 25, 2015

Optimization and Variational Analysis参考文献 50被引用数 29

ひとこと要約

本稿は、単調作用素包含問題に対する確率的前向き後向き分割アルゴリズムのほとんど確実な弱収束および強収束を確立する。ここでは、ココーエルス作用素が確率的近似によって置き換えられ、不正確な解像度評価は確率的摂動によってモデル化される。主な貢献は、非消える近接パラメータおよび緩和ステップを許容する条件下でも、確率過程にやや厳しい条件のもとで収束が保証されることにある。

ABSTRACT

We investigate the asymptotic behavior of a stochastic version of the forward-backward splitting algorithm for finding a zero of the sum of a maximally monotone set-valued operator and a cocoercive operator in Hilbert spaces. Our general setting features stochastic approximations of the cocoercive operator and stochastic perturbations in the evaluation of the resolvents of the set-valued operator. In addition, relaxations and not necessarily vanishing proximal parameters are allowed. Weak and strong almost sure convergence properties of the iterates is established under mild conditions on the underlying stochastic processes. Leveraging these results, we also establish the almost sure convergence of the iterates of a stochastic variant of a primal-dual proximal splitting method for composite minimization problems.

研究の動機と目的

• ヒルバート空間における最大単調作用素とココーエルス作用素の和のゼロを求めるための確率的前向き後向きアルゴリズムの漸近的挙動を分析すること。
• ココーエルス作用素の確率的近似と解像度評価における確率的摂動を、現実世界の不正確さをモデル化するために取り入れること。
• 非消える近接パラメータと緩和ステップを許容することで、標準的な決定的前向き後向きスキームを一般化すること。
• 下伏の確率過程における弱いモーメントおよびエルゴード性条件のもとで、反復のほとんど確実な弱収束および強収束を確立すること。
• 合成最小化問題に対する確率的プリマルデュアル近接分割法への収束結果の拡張。

提案手法

• ココーエルス作用素が確率変数列 $(u_n)$ によって近似され、解像度が確率的摂動 $(a_n)$ を伴って評価される確率的前向き後向き反復を定式化する。
• 緩和パラメータ $(\lambda_n)$ を導入し、解像度作用素 $\mathsf{J}_{\gamma_n\mathsf{A}}$ において非消える近接パラメータ $(\gamma_n)$ を許容する。
• 条件付き期待値とマルティンゲール型の議論を用いて、確率的近似のバイアスと分散を分析する。
• 繰り返し対数の法則を用いて、信号回復の例における $\mathsf{E}(u_n \mid \boldsymbol{\mathcal{X}}_n) - \nabla\mathsf{h}(x_n)$ のような経験的推定のバイアスを制御する。
• 一般収束命題（命題 5.3）の条件を満たすことで収束を確立し、確率的誤差のモーメントバウンドを確認する。
• バイアスおよび分散項の明示的な誤差減衰率を導出する。例えば $\lambda_n \|\mathsf{E}(u_n \mid \boldsymbol{\mathcal{X}}_n) - \nabla\mathsf{h}(x_n)\|^2 = O(\log(\log(n))/n^{1+\delta+\kappa})$。

実験結果

リサーチクエスチョン

• RQ1 不正確な解像度評価とノイズを含むココーエルス作用素の近似を伴う確率的前向き後向きアルゴリズムが、ほとんど確実に収束する条件は何か？
• RQ2 ココーエルス作用素の確率的近似と解像度評価における摂動が、反復の収束に与える影響は何か？
• RQ3 近接パラメータ $\gamma_n$ が消えない場合や緩和 $\lambda_n$ が用いられる場合に、収束を保証できるか？
• RQ4 サンプリングレート $m_n$ が、確率的近似 $u_n$ のバイアスおよび分散に与える影響は何か？
• RQ5 理論的結果を合成最小化問題に対する確率的プリマルデュアル近接分割法へ拡張できるか？

主な発見

• 確率過程にやや厳しい条件のもとで、確率的前向き後向きアルゴリズムの反復は、単調包含問題の解にほとんど確実に弱収束および強収束する。
• サンプリングレート $m_n = O(n^{1+\delta})$ および $\lambda_n = O(n^{-\kappa})$ の下で、確率的近似のバイアス $\mathsf{E}(u_n \mid \boldsymbol{\mathcal{X}}_n) - \nabla\mathsf{h}(x_n)$ は $O(\log(\log(n))/n^{1+\delta+\kappa})$ のオーダーで減少する。
• 近似誤差の条件付き分散は $\mathsf{E}(\|u_n - \mathsf{E}(u_n \mid \boldsymbol{\mathcal{X}}_n)\|^2 \mid \boldsymbol{\mathcal{X}}_n) = O(1/n^{2+\delta})$ を満たし、ノイズの寄与が無視できることが保証される。
• 積 $\lambda_n \zeta_n$ は $O(1/n^{2+\delta+\kappa})$ のオーダーで減少し、収束のための必要なsummability条件を満たす。
• 結果は、合成最小化問題に対する確率的プリマルデュアル近接分割法へ拡張され、ほとんど確実な収束が確立された。
• 収束フレームワークは、$u_n$ が最小二乗汎関数の勾配の経験的推定である信号回復などの実用的問題に適用可能である。