[論文レビュー] Stochastic Quasi-Fejér Block-Coordinate Fixed Point Iterations with Random Sweeping

Patrick L. Combettes, Jean‐Christophe Pesquet|arXiv (Cornell University)|Apr 29, 2014

Optimization and Variational Analysis参考文献 46被引用数 10

ひとこと要約

本稿は、ヒルバート空間における単調包含問題および凸最適化問題を解くための、確率的ブロック座標固定点フレームワークを提案する。ランダムなスイープルールと確率的誤差を用いる。本稿は、新しい確率的準フェージェー単調性理論を用いて、反復列のほとんど確実な弱収束および強収束を確立し、ドーソン＝ラッハフォード法や前向き・後向き分割法といった決定的および確率的アルゴリズムを、ブロック座標および確率的設定へ一般化・拡張する。

ABSTRACT

This work proposes block-coordinate fixed point algorithms with applications to nonlinear analysis and optimization in Hilbert spaces. The asymptotic analysis relies on a notion of stochastic quasi-Fejér monotonicity, which is thoroughly investigated. The iterative methods under consideration feature random sweeping rules to select arbitrarily the blocks of variables that are activated over the course of the iterations and they allow for stochastic errors in the evaluation of the operators. Algorithms using quasinonexpansive operators or compositions of averaged nonexpansive operators are constructed, and weak and strong convergence results are established for the sequences they generate. As a by-product, novel block-coordinate operator splitting methods are obtained for solving structured monotone inclusion and convex minimization problems. In particular, the proposed framework leads to random block-coordinate versions of the Douglas-Rachford and forward-backward algorithms and of some of their variants. In the standard case of $m=1$ block, our results remain new as they incorporate stochastic perturbations.

研究の動機と目的

• 任意のサンプリングおよび確率的誤差を伴うヒルバート空間における確率的ブロック座標固定点反復の一般収束フレームワークの構築を目的とする。
• 非線形解析および最適化における、確率的・ブロック構造的・誤差耐性のある設定に、古典的固定点理論を拡張することを目的とする。
• 確率的ブロック座標作用素分割を用いて、構造的単調包含問題および凸最小化問題の収束保証を提供することを目的とする。
• ドーソン＝ラッハフォード法や前向き・後向き法といった既存のアルゴリズムを、単一の確率的準フェージェー収束理論に統合・一般化することを目的とする。

提案手法

• 反復の収束を解析するため、ほとんど確実なスーパーmartingale性質に基づく確率的準フェージェー単調性フレームワークを提案する。
• ランダムなブロック選択を用いた、準非拡大的または平均化非拡大的作用素の合成に基づくブロック座標固定点反復を設計する。
• 各反復でブロックを任意にサンプリングできるランダムスイープルールを導入し、柔軟性および分散処理実装を可能にする。
• ステップサイズ、緩和パラメータ、誤差分布に関する条件の下で、アルゴリズムによって生成される列の収束結果を導出する。
• プライマル・デュアル、ドーソン＝ラッハフォード、前向き・後向きアルゴリズムの確率的ブロック座標版を構築するために、このフレームワークを適用する。
• バイヨン＝ハッダドの定理を用いて勾配作用素のリプシッツ連続性を保証し、有界誤差仮定の下での収束を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ヒルバート空間において、任意のランダムスイープと確率的誤差を伴う一般の確率的ブロック座標固定点フレームワークを構築できるか？
• RQ2 確率的準フェージェー単調性はどのように形式化され、ランダムサンプリングを伴う反復列のほとんど確実収束を証明するために活用できるか？
• RQ3 ステップサイズ、緩和パラメータ、誤差分布にどのような条件が課されると、ブロック座標固定点反復の弱収束または強収束が保証されるか？
• RQ4 提案されたフレームワークを用いて、ドーソン＝ラッハフォード法や前向き・後向き法といった古典的分割アルゴリズムの新たな確率的ブロック座標版を導出できるか？
• RQ5 反復列がほとんど確実に強収束するための条件は何か？また、デミレギュラー性仮定はどのようにしてこれを保証できるか？

主な発見

• 提案された確率的ブロック座標固定点アルゴリズムは、ステップサイズおよび誤差分布に関する一般条件の下で、ほとんど確実に弱収束する。
• 追加のデミレギュラー性仮定（問題構造における部分微分作用素または勾配写像に対して）が満たされれば、強収束が確立される。
• このフレームワークは決定的ブロック座標法を一般化し、ヒルバート空間における、確率的で誤差耐性のあるブロック座標固定点反復の収束解析を初めて提供する。
• ドーソン＝ラッハフォード法および前向き・後向き法の確率的ブロック座標版は、特殊な場合として導出され、収束保証が与えられる。
• 標準的な1ブロックケース（m=1）においても、収束結果は有効であり、新たな知見を提供する。これは、確率的摂動を組み込んでいるためである。
• 本手法は、ブロックの任意のサンプリングを許容し、緩和と確率的誤差の両方をサポートするため、大規模最適化における柔軟性とロバスト性が向上する。