[論文レビュー] Stochastic Quasi-Fej\\'er Block-Coordinate Fixed Point Iterations With Random Sweeping II: Mean-Square and Linear Convergence

Patrick L. Combettes, Jean‐Christophe Pesquet|arXiv (Cornell University)|Apr 26, 2017

Optimization and Variational Analysis参考文献 31被引用数 20

ひとこと要約

本稿は、確率的スワーピングと確率的誤差を伴う確率的ブロック座標固定点反復について、平均二乗収束および線形収束を確立し、先行研究のほとんど確実な弱収束結果を拡張している。作用素に類似した収縮条件が満たされる場合、線形収束が示され、単調作用素分解およびプロキシマル最適化におけるこのクラスのブロック座標アルゴリズムについて、初めてのこのような結果を提供する。

ABSTRACT

Reference [11] investigated the almost sure weak convergence of block-coordinate fixed point algorithms and discussed their applications to nonlinear analysis and optimization. This algorithmic framework features random sweeping rules to select arbitrarily the blocks of variables that are activated over the course of the iterations and it allows for stochastic errors in the evaluation of the operators. The present paper establishes results on the mean-square and linear convergence of the iterates. Applications to monotone operator splitting and proximal optimization algorithms are presented.

研究の動機と目的

• 確率的スワーピングと確率的誤差を伴う確率的ブロック座標固定点反復について、平均二乗収束および線形収束を確立すること。
• 先行研究のほとんど確実な弱収束結果を、平均二乗および線形の意味でのより強い収束保証へと拡張すること。
• 単調作用素理論における前向き・後向きおよび分割アルゴリズムのブロック座標版についての収束解析を提供すること。
• 反復が確率的摂動およびランダムなブロック活性化のもとでも線形収束するような条件を導出すること。
• 一般のランダムスワーピングルールの下で、プロキシマルおよび単調作用素分割アルゴリズムについて、新たな収束結果を提供すること。

提案手法

• ヒルバート空間における確率的準フェージャー枠組みを用いて、確率的スワーピングと確率的誤差を伴うブロック座標固定点反復をモデル化する。
• 作用素に類似した収縮条件を課す：‖Tₙx − z‖ ≤ √τₙ‖x − z‖ で、τₙ ∈ [0,1) とし、厳密な準非拡大性および単一固定点集合を保証する。
• アルゴリズム1.2の反復を分析し、各反復でランダムに選択されたブロックのみが、緩和パラメータ λₙ および確率的誤差 aᵢₙ を用いて更新される。
• 収縮性とランダムスワーピングルールを活用して、誤差の期待平方ノルムをバウンディングすることで、平均二乗収束を導出する。
• λₙ、γₙ、τₙ に対する特定のパrameter条件のもとで、誤差が幾何的に減少することを示すことにより、線形収束を確立する。
• この枠組みを前向き・後向き分割およびプロキシマルアルゴリズムに適用し、滑らかで強く凸な関数を含む問題についての収束保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 確率的スワーピングと確率的誤差を伴う確率的ブロック座標固定点反復が、平均二乗意味で収束するための条件は何か？
• RQ2 もしその背後にある作用素が一様収縮性を満たすならば、このような反復について線形収束を確立できるか？
• RQ3 ランダムスワーピングルールと確率的誤差は、決定的またはサイクル的スキームと比較して収束速度にどのように影響するか？
• RQ4 この確率的枠組み下で、ブロック座標前向き・後向きおよびプロキシマルアルゴリズムの収束特性は何か？
• RQ5 収束速度は、緩和パラメータの選択、確率的誤差の分散、作用素の収縮パラメータにどのように依存するか？

主な発見

• 本稿は、各作用素 Tₙ が τₙ ∈ [0,1) で一様収縮条件を満たすという仮定の下で、反復の平均二乗収束を確立している。
• パrameter λₙ と γₙ が τₙ および問題パラメータを含む特定の不等式を満たす場合、期待誤差の幾何的減少を保証する線形収束が示されている。
• 収束速度は、パラメータ τₙ、λₙ、および確率的誤差分散から導かれる1未塔の収縮係数によって定量的に評価されている。
• 前向き・後向きアルゴリズムでは、収束条件はステップサイズ γₙ が0から離れており、問題の強凸性およびリプシッツ定数に依存する特定の上限を満たす必要があると簡略化される。
• 本稿の結果は、確率的スワーピングと確率的誤差を伴うブロック座標確率的固定点反復について、単一ブロックの場合でさえも、初めて線形収束を確立した。
• この枠組みは、プロキシマル最適化および単調作用素分割に適用可能であり、滑らかで強く凸な関数を含む問題について、明示的な収束保証が得られる。