[论文解读] Stochastic Quasi-Fejér Block-Coordinate Fixed Point Iterations with Random Sweeping

Patrick L. Combettes, Jean‐Christophe Pesquet|arXiv (Cornell University)|Apr 29, 2014

Optimization and Variational Analysis参考文献 46被引用 10

一句话总结

本文提出了一种新颖的随机块坐标不动点框架，用于在希尔伯特空间中求解单调包含问题和凸优化问题，采用随机扫掠规则和随机误差。通过一种新的随机拟-费耶尔单调性理论，建立了迭代序列的几乎必然弱收敛与强收敛。该框架推广并扩展了Douglas-Rachford和前向-后向分裂等经典确定性与随机算法，适用于块坐标和随机设置。

ABSTRACT

This work proposes block-coordinate fixed point algorithms with applications to nonlinear analysis and optimization in Hilbert spaces. The asymptotic analysis relies on a notion of stochastic quasi-Fejér monotonicity, which is thoroughly investigated. The iterative methods under consideration feature random sweeping rules to select arbitrarily the blocks of variables that are activated over the course of the iterations and they allow for stochastic errors in the evaluation of the operators. Algorithms using quasinonexpansive operators or compositions of averaged nonexpansive operators are constructed, and weak and strong convergence results are established for the sequences they generate. As a by-product, novel block-coordinate operator splitting methods are obtained for solving structured monotone inclusion and convex minimization problems. In particular, the proposed framework leads to random block-coordinate versions of the Douglas-Rachford and forward-backward algorithms and of some of their variants. In the standard case of $m=1$ block, our results remain new as they incorporate stochastic perturbations.

研究动机与目标

• 开发一种适用于希尔伯特空间中任意采样与随机误差的随机块坐标不动点迭代的一般收敛框架。
• 将经典不动点理论推广至随机化、块结构化及误差容错的非线性分析与优化设置。
• 基于随机块坐标算子分裂方法，为结构化单调包含问题与凸最小化问题提供收敛性保证。
• 在统一的随机拟-费耶尔收敛理论下，统一并推广现有算法，如随机Douglas-Rachford与前向-后向方法。

提出的方法

• 基于几乎上鞅性质，提出一种基于随机拟-费耶尔单调性的收敛性分析框架，用于处理随机扫掠与随机误差下的收敛性。
• 设计使用拟非扩张算子或平均非扩张算子的复合算子的随机块选择的块坐标不动点迭代。
• 引入一种随机扫掠规则，允许在每次迭代中任意采样块，从而实现灵活性与分布式实现。
• 在步长、松弛参数与误差分布满足一定条件下，推导出该算法生成序列的收敛结果。
• 将该框架应用于构造原始-对偶、Douglas-Rachford与前向-后向算法的随机块坐标版本，用于结构化凸最小化问题。
• 利用Baillon-Haddad定理确保梯度算子的利普希茨连续性，从而在有界误差假设下实现收敛。

实验结果

研究问题

• RQ1 能否构建一种通用的随机块坐标不动点框架，以确保在希尔伯特空间中任意随机扫掠与随机误差下的收敛性？
• RQ2 如何形式化并利用随机拟-费耶尔单调性，以证明具有随机采样的迭代序列的几乎必然收敛性？
• RQ3 在步长、松弛参数与误差分布满足何种条件下，可保证块坐标不动点迭代的弱收敛或强收敛？
• RQ4 如何将所提出的框架应用于推导经典分裂算法（如Douglas-Rachford与前向-后向算法）的新型随机块坐标变体？
• RQ5 在何种条件下，迭代序列会几乎必然强收敛？如何利用半正规性假设来确保这一点？

主要发现

• 在步长与误差分布满足一般条件时，所提出的随机块坐标不动点算法几乎必然弱收敛于一个不动点。
• 在子微分算子或问题结构中梯度映射满足额外半正规性假设时，可建立强收敛性。
• 该框架推广了确定性块坐标方法，并首次为希尔伯特空间中随机化、容错型、块坐标不动点迭代提供了收敛性分析。
• Douglas-Rachford与前向-后向算法的随机块坐标版本作为特例被导出，并具有收敛性保证。
• 即使在标准单个块情形（m=1）下，该结果依然有效且具有新颖性，因其包含随机扰动。
• 该方法支持任意块的采样，同时兼容松弛与随机误差，显著增强了大规模优化中的灵活性与鲁棒性。