[论文解读] A stochastic inertial forward-backward splitting algorithm for multivariate monotone inclusions

Lorenzo Rosasco, Silvia Villa+1 more|arXiv (Cornell University)|Jul 3, 2015

Optimization and Variational Analysis参考文献 43被引用 4

一句话总结

本文提出了一种用于求解具有算子评估中随机误差的多变量单调包含问题的随机惯性前向-后向分裂算法。该算法在实希尔伯特空间中建立了迭代序列几乎必然收敛到解的理论结果，将惯性方法和原始-对偶方法推广至随机设置，为结构化复合包含问题与最小化问题提供了理论保证。

ABSTRACT

We propose an inertial forward-backward splitting algorithm to compute the zero of a sum of two monotone operators allowing for stochastic errors in the computation of the operators. More precisely, we establish almost sure convergence in real Hilbert spaces of the sequence of iterates to an optimal solution. Then, based on this analysis, we introduce two new classes of stochastic inertial primal-dual splitting methods for solving structured systems of composite monotone inclusions and prove their convergence. Our results extend to the stochastic and inertial setting various types of structured monotone inclusion problems and corresponding algorithmic solutions. Application to minimization problems is discussed.

研究动机与目标

• 开发一种能够处理希尔伯特空间中单调算子评估噪声的随机惯性前向-后向算法。
• 建立该算法迭代序列几乎必然收敛到单调包含问题解的理论结果。
• 将惯性和原始-对偶分裂方法推广至结构化复合单调包含问题的随机设置。
• 为耦合的单调包含系统推导出新的随机惯性原始-对偶算法类别。
• 在最小假设条件下提供收敛性保证，包括随机误差条件和有界惯性步长。

提出的方法

• 算法利用历史迭代信息引入惯性项以加速收敛，步长满足可 summable 条件。
• 采用随机预言机估计具有余强单调性的算子 B，其误差建模为均值为零、二阶可积的随机变量。
• 在乘积希尔伯特空间框架下应用前向-后向分裂方法，以解耦复合单调包含问题。
• 通过 Fenchel-Rockafellar 对偶性和近端映射重新表述问题，推导出原始-对偶形式。
• 算法在近端步长更新原始变量与通过随机梯度进行类似梯度的更新方式交替更新对偶变量。
• 通过李雅普诺夫函数和几乎必然收敛性分析证明收敛性，其成立条件包括对随机误差和惯性参数的假设。

实验结果

研究问题

• RQ1 惯性加速能否有效结合于随机前向-后向分裂方法以求解单调包含问题？
• RQ2 在何种条件下，随机惯性前向-后向算法几乎必然收敛到解？
• RQ3 如何为耦合的复合单调包含系统构建惯性和随机原始-对偶方法？
• RQ4 算子评估中的随机误差在收敛性中起何种作用，又该如何控制？
• RQ5 收敛理论能否扩展至包含一致凸正则化项并提供更强的收敛保证？

主要发现

• 所提出的随机惯性前向-后向算法在实希尔伯特空间中实现了迭代序列几乎必然收敛到单调包含问题的解。
• 该算法在最小假设下收敛：惯性步长可 summable，算子评估中的随机误差为二阶可积。
• 对于一致凸正则化项，算法几乎必然实现原始迭代序列的强收敛。
• 该方法在对偶框架下生成了两类新型随机惯性原始-对偶分裂算法，适用于结构化复合单调包含问题。
• 收敛结果将现有确定性和随机分裂方法推广至惯性和随机设置。
• 该分析适用于最小化问题，并可扩展至共轭强单调参数和步长选择得当的情况。