[论文解读] A variational approach to stochastic minimization of convex functionals

Miroslav Bačák|arXiv (Cornell University)|May 11, 2016

Optimization and Variational Analysis参考文献 25被引用 3

一句话总结

本文提出了一种变分随机近似点算法，用于在局部紧致的哈达姆空间中最小化凸积分泛函，将随机近似点方法扩展至非欧几里得空间。该方法在弱于以往工作的增长条件下实现了收敛，使得其在非光滑和非欧几里得设置（如系统发育树空间）中具有应用潜力，并为关键问题（如中位数估计和最小二乘）提供了闭式解算子。

ABSTRACT

Stochastic methods for minimizing a convex integral functional, as initiated by Robbins and Monro in the early 1950s, rely on the evaluation of a gradient (or subgradient if the function is not smooth) and moving in the corresponding direction. In contrast, we use a variational technique resulting in an implicit stochastic minimization method, which has recently appeared in several diverse contexts. Such an approach is desirable whenever the underlying space does not have a differentiable structure and moreover it exhibits better stability properties which makes it preferable even in linear spaces. Our results are formulated in locally compact Hadamard spaces, but they are new even in Euclidean space, the main novelty being more general growth conditions on the functional. We verify that the assumptions of our convergence theorem are satisfied in a few classical minimization problems.

研究动机与目标

• 开发一种用于在缺乏可微结构的局部紧致哈达姆空间中最小化凸积分泛函的随机优化方法，其中传统基于梯度的方法因缺乏可微性而失效。
• 将随机近似点算法（PPA）扩展至一般凸泛函，其增长条件弱于现有文献，尤其适用于非欧几里得空间。
• 在经典优化问题（如中位数、最小二乘）以及高级统计模型（如树空间中的系统发育推断）中，展示该方法的实际适用性。
• 在最小假设下证明随机PPA的收敛性，确保在病态或高维设置下仍具有鲁棒性和稳定性。
• 为关键示例中边际函数的解算子提供闭式表达式，从而在实际中实现高效实现。

提出的方法

• 该方法基于解算子映射的变分公式：$ x_i = J_{\lambda_i}^{\xi_i} x_{i-1} $，其中 $ J_{\lambda}^{\xi}x $ 最小化 $ f(y,\xi) + \frac{1}{2\lambda}d(x,y)^2 $。
• 算法使用独立随机样本 $ \xi_i \sim \mu $，通过隐式最小化迭代更新当前估计，避免梯度计算。
• 在 $ f(\cdot,\xi) $ 的增长条件较弱的假设下建立收敛性，包括次线性和二次增长，仅排除病态情况。
• 该框架适用于欧几里得和非欧几里得哈达姆空间，包括如BHV树空间这样的CAT(0)立方复形。
• 在关键示例中，边际函数 $ f(\cdot,\xi) $ 的解算子可显式计算，如 $ \|x - b\| $ 和 $ \frac{1}{2}(\langle a,x\rangle - b)^2 $。
• 通过理论收敛定理验证该方法，并应用于真实世界问题，包括中位数估计和贝叶斯系统发育推断。

实验结果

研究问题

• RQ1 能否将随机近似点算法扩展至哈达姆空间中的凸积分泛函，且其增长条件弱于以往假设？
• RQ2 在非光滑或非欧几里得设置中，该变分方法是否比随机梯度方法具有更好的稳定性和收敛性？
• RQ3 对于经典优化问题（如中位数和最小二乘估计）的边际函数解算子能否显式计算？
• RQ4 该算法是否适用于复杂统计模型，如系统发育推断中树空间的后验均值/中位数估计？
• RQ5 与现有假设（如一致Lipschitz连续性）相比，新增长条件在现实世界问题中的适用性如何？

主要发现

• 在弱于以往工作的增长条件下，随机PPA收敛至 $ F(x) = \int_S f(x,\xi) d\mu(\xi) $ 的极小化点，包括边际函数非一致Lipschitz的情形。
• 该方法即使在非欧几里得哈达姆空间（如BHV树空间）中也适用，其中由于缺乏可微结构，基于梯度的方法无法使用。
• 对于中位数估计（$ F(x) = \mathbb{E}\|x - b\| $），解算子可显式计算，从而实现高效实现。
• 在最小二乘问题中（$ F(x) = \frac{1}{2}\mathbb{E}(\langle a,x\rangle - b)^2 $），解算子具有简洁的解析表达式：$ J_\lambda^\xi x = x - \lambda \frac{\langle a,x\rangle - b}{1 + \lambda\|a\|^2}a $。
• 该框架支持正则化：最小化 $ F + \mu\|\cdot\|^2 $ 仍具有闭式解算子，支持在统计学习中控制过拟合。
• 该方法可直接用于树空间中后验中位数和均值的最小化，如系统发育推断中，其解算子可计算且在新条件下保证收敛。