[論文レビュー] A stochastic inertial forward-backward splitting algorithm for multivariate monotone inclusions

Lorenzo Rosasco, Silvia Villa+1 more|arXiv (Cornell University)|Jul 3, 2015

Optimization and Variational Analysis参考文献 43被引用数 4

ひとこと要約

本稿では、演算子評価における確率的誤差を伴う多変数単調包含問題を解くための確率的インertシャル前向き後向き分割法を提案する。実ヒルバート空間において、反復列が解にほとんど確実に収束することを確立し、インエラシャルおよびプリムアルデュアル法を確率的設定に拡張することで、構造的複合包含問題および最小化問題に対して理論的保証を提供する。

ABSTRACT

We propose an inertial forward-backward splitting algorithm to compute the zero of a sum of two monotone operators allowing for stochastic errors in the computation of the operators. More precisely, we establish almost sure convergence in real Hilbert spaces of the sequence of iterates to an optimal solution. Then, based on this analysis, we introduce two new classes of stochastic inertial primal-dual splitting methods for solving structured systems of composite monotone inclusions and prove their convergence. Our results extend to the stochastic and inertial setting various types of structured monotone inclusion problems and corresponding algorithmic solutions. Application to minimization problems is discussed.

研究の動機と目的

• ヒルバート空間における単調作用素の評価にノイズが含まれる状況を扱える確率的インエラシャル前向き後向きアルゴリズムの開発を目的とする。
• アルゴリズムの反復列が単調包含問題の解にほとんど確実に収束することを確立すること。
• インエラシャルおよびプリムアルデュアル分割法を、構造的複合単調包含問題のための確率的設定に拡張すること。
• 結合された単調包含系のための新しいクラスの確率的インエラシャルプリムアルデュアルアルゴリズムを導出すること。
• 最小限の仮定の下で収束保証を提供すること、具体的には確率的誤差条件および有界なインエラシャルステップを含む。

提案手法

• 反復の過去の値を用いてインエラシャル項を組み込み、収束を加速する。ステップサイズは和分可能条件を満たす。
• ココーエルスイブ作用素 B の推定に確率的オракルを用い、誤差は平均ゼロで二階モーメントが有限な確率変数としてモデル化される。
• 複合単調包含問題を分解するために、積ヒルバート空間フレームワーク上での前向き後向き分割法を適用する。
• フェンケル＝ロカファラー双対性と近位写像を用いて問題を再定式化し、プリムアルデュアル定式化を導出する。
• アルゴリズムは、近位ステップによるプライマル変数の更新と、確率的勾配を用いた勾配類似更新によるデュアル変数の更新を交互に実行する。
• Lyapunov関数とほとんど確実な収束解析を用いて収束を証明し、確率的誤差およびインエラシャルパrameterに関する仮定の下で成立する。

実験結果

リサーチクエスチョン

• RQ1 インエラシャル加速は、単調包含問題に対する確率的前向き後向き分割法と効果的に組み合わせられるか？
• RQ2 確率的インエラシャル前向き後向きアルゴリズムが、解にほとんど確実に収束するための条件は何か？
• RQ3 結合された複合単調包含系のためのインエラシャルおよび確率的プリムアルデュアル法は、どのように構築できるか？
• RQ4 作用素評価における確率的誤差が収束に与える影響は何か。また、それらはどのように制御できるか？
• RQ5 収束理論は、一様凸正則化子を含む形に拡張可能か。また、より強い収束保証を得られるか？

主な発見

• 提案された確率的インエラシャル前向き後向きアルゴリズムは、実ヒルバート空間における単調包含問題の解に反復列がほとんど確実に収束することを達成する。
• アルゴリズムは最小限の仮定の下で収束する：和分可能なインエラシャルステップと、作用素評価における二階モーメントが有限な確率的誤差を満たす。
• 一様凸正則化子が適用される場合、プライマル反復列はほとんど確実に強い収束を示す。
• 本手法により、双対性における構造的複合単調包含問題のための、2つの新しいクラスの確率的インエラシャルプリムアルデュアル分割アルゴリズムが得られる。
• 収束結果は、既存の決定的および確率的分割法をインエラシャルおよび確率的設定に一般化する。
• 解析は最小化問題に適用可能であり、ココーエルスイブパラメータおよびステップサイズが適切に選ばれた場合にまで拡張可能である。