[论文解读] A Stochastic forward-backward splitting method for solving monotone inclusions in Hilbert spaces

Lorenzo Rosasco, Silvia Villa+1 more|arXiv (Cornell University)|Mar 31, 2014

Optimization and Variational Analysis参考文献 56被引用 19

一句话总结

该论文提出了一种新颖的随机前向-后向分裂算法，用于在希尔伯特空间中求解单调包含问题，其中单值算子通过随机估计获得。在强单调性假设下，该方法建立了期望意义下的非渐近收敛性；在一致单调性假设下，实现了几乎必然收敛，避免了迭代值平均化，并实现了与加速随机方法相匹配的收敛速率。

ABSTRACT

We propose and analyze the convergence of a novel stochastic forward-backward splitting algorithm for solving monotone inclusions given by the sum of a maximal monotone operator and a single-valued maximal monotone cocoercive operator. This latter framework has a number of interesting special cases, including variational inequalities and convex minimization problems, while stochastic approaches are practically relevant to account for perturbations in the data. The algorithm we propose is a stochastic extension of the classical deterministic forward-backward method, and is obtained considering the composition of the resolvent of the maximal monotone operator with a forward step based on a stochastic estimate of the single-valued operator. Our study provides a non-asymptotic error analysis in expectation for the strongly monotone case, as well as almost sure convergence under weaker assumptions. The approach we consider allows to avoid averaging, a feature critical when considering methods based on sparsity, and, for minimization problems, it allows to obtain convergence rates matching those obtained by stochastic extensions of so called accelerated methods. Stochastic quasi Fejer's sequences are a key technical tool to prove almost sure convergence.

研究动机与目标

• 解决在单值算子评估中存在随机噪声的单调包含问题，其中涉及一个极大单调算子和一个cocoercive单值算子。
• 开发经典前向-后向分裂方法的随机扩展，使用单值算子的噪声且无偏估计。
• 提供无需迭代值平均化的收敛保证，这对稀疏优化场景至关重要。
• 在强单调性假设下，实现期望意义下的非渐近误差界，并在弱于强单调性的假设下，实现几乎必然收敛。
• 统一并扩展在一般单调性条件下用于变分不等式和凸最小化问题的随机一阶方法。

提出的方法

• 该算法首先使用单值算子的随机估计执行前向步骤，随后通过极大单调算子的预解式执行后向步骤。
• 它使用一组具有有界二阶矩的随机估计序列来建模噪声数据或计算近似，以表示单值算子的随机估计。
• 该方法避免了迭代值的平均化，从而在稀疏优化问题中保持了解的稀疏性。
• 它利用随机拟-Fejér序列作为关键技术工具，在一致单调性假设下建立几乎必然收敛性。
• 在强单调性假设下，通过非渐近版本的Chung引理推导出期望意义下的非渐近收敛界。
• 该框架被应用于正交基上的变分不等式和最小化问题，并为这些情形推导出显式的迭代格式。

实验结果

研究问题

• RQ1 能否为具有噪声算子评估的单调包含问题开发一种随机前向-后向分裂方法，且无需迭代值平均化？
• RQ2 在对随机估计的假设较弱的条件下，能否建立收敛保证，特别是非渐近界和几乎必然收敛？
• RQ3 与加速随机方法相比，该方法在收敛速率上表现如何，特别是在最小化问题中？
• RQ4 该方法能否应用于稀疏信号恢复和正交基上的优化，并保证收敛性？
• RQ5 当单值算子仅具有一致单调性而非强单调性时，何种条件可确保几乎必然收敛？

主要发现

• 在强单调性假设下，该算法实现了期望意义下的非渐近收敛，其界显式依赖于问题参数。
• 在较弱的一致单调性假设下，通过随机拟-Fejér序列建立了几乎必然收敛性。
• 该方法避免了迭代值平均化，这对需要解具有稀疏性的优化问题具有显著优势。
• 在最小化问题中，尽管该方法并非加速型，其收敛速率仍与加速随机方法相当。
• 在正交基上的最小化情形下，该算法退化为使用随机梯度估计的坐标式近端更新，且在较弱条件下可保证收敛。
• 对于一致凸目标函数，即使目标函数本身不具强凸性，迭代序列仍以几乎必然方式强收敛于解。