[論文レビュー] A Stochastic forward-backward splitting method for solving monotone inclusions in Hilbert spaces

Lorenzo Rosasco, Silvia Villa+1 more|arXiv (Cornell University)|Mar 31, 2014

Optimization and Variational Analysis参考文献 56被引用数 19

ひとこと要約

本稿は、ヒルバート空間における単調包含を解くための新しい確率的前向き後向き分割法を提案する。単値作用素は確率的に推定される。強い単調性のもとで期待値における非漸近的収束性を確立し、一様単調性のもとでほとんど確実な収束性を示す。反復平均化を回避し、加速された確率的手法と同等の収束速度を達成する。

ABSTRACT

We propose and analyze the convergence of a novel stochastic forward-backward splitting algorithm for solving monotone inclusions given by the sum of a maximal monotone operator and a single-valued maximal monotone cocoercive operator. This latter framework has a number of interesting special cases, including variational inequalities and convex minimization problems, while stochastic approaches are practically relevant to account for perturbations in the data. The algorithm we propose is a stochastic extension of the classical deterministic forward-backward method, and is obtained considering the composition of the resolvent of the maximal monotone operator with a forward step based on a stochastic estimate of the single-valued operator. Our study provides a non-asymptotic error analysis in expectation for the strongly monotone case, as well as almost sure convergence under weaker assumptions. The approach we consider allows to avoid averaging, a feature critical when considering methods based on sparsity, and, for minimization problems, it allows to obtain convergence rates matching those obtained by stochastic extensions of so called accelerated methods. Stochastic quasi Fejer's sequences are a key technical tool to prove almost sure convergence.

研究の動機と目的

• 作用素評価におけるノイズを伴う状況下で、最大単調作用素とココーエィブな単値作用素を含む単調包含を扱う。
• 単値作用素のノイズありかつ不偏な推定値を用いる、古典的な前向き後向き分割法の確率的拡張を開発する。
• 反復平均化を必要としない収束保証を提供し、スパース最適化の文脈で特に重要である。
• 強い単調性の下で期待値における非漸近的誤差バインディングを達成し、強い単調性より弱い仮定のもとでほとんど確実な収束性を示す。
• 一般の単調性条件の下で、変分不等式および凸最小化問題に対する確率的勾配法を統一的かつ拡張的に展開する。

提案手法

• 単値作用素の確率的推定値を用いた前向きステップと、最大単調作用素の解像作用素による後向きステップを適用する。
• 二階モーメントが有界な確率的推定値の系列を用い、ノイズのあるデータや計算近似をモデル化する。
• 反復平均化を回避することで、スパース最適化問題において解のスパarsityを保つ。
• 一様単調性のもとでほとんど確実な収束性を確立するために、確率的準フェージャー列を主要な技術的道具として活用する。
• 強い単調性のもとで、非漸近的チェンの補題の拡張を用いて期待値における非漸近的収束バインディングを導出する。
• 正規直交基底上での変分不等式および最小化問題にフレームワークを適用し、これらのケースに対して明示的な反復スキームを導出する。

実験結果

リサーチクエスチョン

• RQ1 ノイズありの作用素評価を伴う単調包含に対して、反復平均化を必要としない確率的前向き後向き分割法を開発できるか？
• RQ2 確率的推定値に関する弱い仮定のもとで、具体的には非漸近的バインディングとほとんど確実な収束性といった収束保証をどのように確立できるか？
• RQ3 特に最小化問題において、加速された確率的手法と比較して、提案手法の収束速度はどの程度か？
• RQ4 スパース信号回復や正規直交基底上での最適化に、証明可能な収束性を備えたこの手法を適用できるか？
• RQ5 単値作用素が強く単調でない一様単調である場合、ほとんど確実な収束性を保証する条件は何か？

主な発見

• 強い単調性のもとで、期待値における非漸近的収束性が達成され、バインディングは問題パラメータに明示的に依存する。
• 一様単調性のより弱い仮定のもとで、確率的準フェージャー列を用いてほとんど確実な収束性が確立される。
• 反復平均化を回避することで、解のスパarsityが求められる問題において有益である。
• 最小化問題において、加速されていないスキームであるにもかかわらず、加速された確率的手法と同等の収束速度を達成する。
• 正規直交基底上での最小化問題において、アルゴリズムは確率的勾配推定値を用いた座標ごとのプロキシマル更新に簡略化され、緩い条件下でも収束を保証する。
• 一様凸な目的関数に対しては、目的関数が強く凸でない場合でも、反復列はほとんど確実に解に強く収束する。