[论文解读] Randomized projection methods for convex feasibility problems: conditioning and convergence rates

Ion Necoara, Peter Richtárik+1 more|arXiv (Cornell University)|Jan 15, 2018

Optimization and Variational Analysis参考文献 26被引用 10

一句话总结

本文提出了一种用于凸可行性问题的一般随机投影算法框架，支持同时投影到多个集合以提升并行性。该框架建立了显式的次线性和线性收敛速率，其依赖于问题的条件性和每次迭代的投影数量，关键结果表明在满足线性正则性和交集中存在球体的假设下可实现线性收敛。

ABSTRACT

Finding a point in the intersection of a collection of closed convex sets, that is the convex feasibility problem, represents the main modeling strategy for many computational problems. In this paper we analyze new stochastic reformulations of the convex feasibility problem in order to facilitate the development of new algorithmic schemes. We also analyze the conditioning problem parameters using certain (linear) regularity assumptions on the individual convex sets. Then, we introduce a general random projection algorithmic framework, which extends to the random settings many existing projection schemes, designed for the general convex feasibility problem. Our general random projection algorithm allows to project simultaneously on several sets, thus providing great flexibility in matching the implementation of the algorithm on the parallel architecture at hand. Based on the conditioning parameters, besides the asymptotic convergence results, we also derive explicit sublinear and linear convergence rates for this general algorithmic framework.

研究动机与目标

• 通过引入凸可行性问题的随机重构，统一并扩展现有投影方法，以处理不可数个凸集族。
• 利用单个凸集的线性正则性假设，分析凸可行性问题的条件性。
• 开发一种通用的随机投影算法框架，扩展经典方法并支持并行计算中的同时投影。
• 基于问题特定的条件性参数，推导显式的收敛速率——包括次线性和线性收敛速率。
• 展示每次迭代中投影数量如何影响并行架构中算法的收敛速度和效率。

提出的方法

• 通过引入约束或集合的随机采样，将凸可行性问题形式化为随机优化问题。
• 提出一种通用的随机投影算法，允许在每次迭代中对多个凸集同时进行投影，使用给定概率的随机采样。
• 采用随机Kaczmarz型更新规则：$ x^{k+1} = x^k - \alpha_k \frac{\Pi_+(S_k^T A x^k - S_k^T b)}{\|A^T S_k\|^2} A^T S_k $，其中 $ S_k $ 为随机采样矩阵。
• 通过分析解集的期望距离 $ \mathbb{E}[\text{dist}_{\mathcal{X}}^2(x^k)] $ 来研究收敛性，基于条件性参数推导出边界。
• 应用线性正则性理论推导线性收敛速率，尤其在存在交集中球体的假设下。
• 使用线性正则性常数 $ \kappa $ 的概念，定义为 $ \kappa = \frac{\|x^0 - \bar{x}\|^2}{\delta^2 \min_S p_S} $，以量化收敛速度。

实验结果

研究问题

• RQ1 如何将经典凸可行性问题以随机方式重构，以处理不可数个凸集族？
• RQ2 控制随机投影方法中凸可行性问题收敛行为的条件性参数是什么？
• RQ3 每次迭代中执行的投影数量如何影响随机投影算法的收敛速率？
• RQ4 在何种假设下，所提出的随机投影框架可实现线性收敛？
• RQ5 该算法能否在保持理论收敛保证的前提下适应并行架构？

主要发现

• 所提出的随机投影框架推广并扩展了现有的交替投影和平均投影方案，支持对多个集合的同时投影。
• 在满足线性正则性假设的前提下建立了线性收敛，其收敛速率依赖于由问题几何结构导出的条件性参数 $ \kappa $。
• 当解集包含半径为 $ \delta $ 的球体时，线性收敛速率被限制为 $ \left(1 - \frac{p_{\min} \delta^2}{R^2}\right)^k $，其中 $ R = \|x^0 - \bar{x}\| $ 且 $ p_{\min} = \min_S p_S $。
• 解集的期望距离满足 $ \mathbb{E}[\text{dist}_{\mathcal{X}}^2(x^k)] \leq \left(1 - \frac{1}{\kappa}\right)^k \text{dist}_{\mathcal{X}}^2(x^0) $，显示出对条件性常数的显式依赖。
• 当 $ \alpha_k \in [0,1] $ 时，序列 $ \|x^k - x^*\| $ 非递增，确保了到解的距离稳定且单调递减。
• 当 $ \alpha_k = 1 $ 时，该框架包含文献[27]中的随机投影算法作为特例，并在相同假设下恢复其收敛速率。