[论文解读] A Stochastic Successive Minimization Method for Nonsmooth Nonconvex Optimization with Applications to Transceiver Design in Wireless Communication Networks

Meisam Razaviyayn, Maziar Sanjabi+1 more|arXiv (Cornell University)|Jul 17, 2013

Sparse and Compressive Sensing Techniques参考文献 47被引用 14

一句话总结

本文提出了一种随机连续上界最小化（SSUM）方法，用于在期望下求解非光滑非凸优化问题，其中在每次迭代中，通过最小化期望代价的局部紧致上界近似值，而非完整的样本平均值来实现。该方法确保了收敛性，并支持高效的在线计算，在无线收发器设计和在线字典学习中表现出色，显著优于现有方法，在频谱效率和总速率方面表现更优，并将随机梯度方法扩展至非光滑非凸设置，同时提供收敛性保证。

ABSTRACT

Consider the problem of minimizing the expected value of a cost function parameterized by a random variable. The classical sample average approximation (SAA) method for solving this problem requires minimization of an ensemble average of the objective at each step, which can be expensive. In this paper, we propose a stochastic successive upper-bound minimization method (SSUM) which minimizes an approximate ensemble average at each iteration. To ensure convergence and to facilitate computation, we require the approximate ensemble average to be a locally tight upper-bound of the expected cost function and be easily optimized. The main contributions of this work include the development and analysis of the SSUM method as well as its applications in linear transceiver design for wireless communication networks and online dictionary learning. Moreover, using the SSUM framework, we extend the classical stochastic (sub-)gradient (SG) method to the case of minimizing a nonsmooth nonconvex objective function and establish its convergence.

研究动机与目标

• 为解决经典样本平均近似（SAA）方法在求解具有非凸和非光滑目标函数的随机优化问题时计算成本过高的问题。
• 开发一种随机连续上界最小化（SSUM）框架，通过在每次迭代中用易于优化的上界近似值替代精确的SAA子问题。
• 在较弱假设下建立SSUM方法的收敛性，包括局部紧致上界和有界梯度。
• 将经典随机（次）梯度方法推广至非光滑非凸问题，并利用SSUM框架证明其收敛性。
• 通过无线通信网络收发器设计和在线字典学习等实际应用，展示该方法的实用有效性。

提出的方法

• SSUM方法在每次迭代中最小化一个近似期望值，其中近似函数 $ \hat{g}(x, x^{i-1}, \xi^i) $ 是在前一迭代点 $ x^{i-1} $ 附近对 $ g(x, \xi^i) $ 的局部紧致上界。
• 算法通过 $ x^r \leftarrow \arg\min_{x \in \mathcal{X}} \frac{1}{r} \sum_{i=1}^r \hat{g}(x, x^{i-1}, \xi^i) $ 更新变量，确保下降性与收敛性。
• 通过证明当 $ r \to \infty $ 时，近似目标函数与真实目标函数之间的差距趋于零，从而建立收敛性，即 $ \alpha^r = \hat{f}^r(x^r) - f^r(x^r) \to 0 $。
• 该方法利用梯度的Lipschitz连续性与近似误差有界的假设，确保 $ \|x^{r+1} - x^r\| = \mathcal{O}(1/r) $。
• 该框架通过允许非光滑和非凸目标函数，推广了随机梯度方法，其收敛性通过新提出的近似误差分析得以证明。
• 理论收敛性依赖于对连续迭代点之间差值的有界性分析，并对近似误差使用错位求和（telescoping）论证。

实验结果

研究问题

• RQ1 能否设计一种随机连续上界最小化方法，以降低求解非光滑非凸随机优化问题的计算成本？
• RQ2 在较弱假设下，SSUM方法是否能收敛至驻点，即使目标函数为非凸且非光滑？
• RQ3 SSUM框架能否用于将经典随机梯度方法推广至非光滑非凸问题，并提供收敛性保证？
• RQ4 在无线收发器设计和在线字典学习等实际应用中，SSUM的性能与现有算法相比如何？
• RQ5 在何种条件下，上界与真实目标函数之间的近似误差能在迭代过程中趋于消失？

主要发现

• 在较弱假设下，SSUM方法可收敛至驻点，包括局部紧致上界和有界梯度。
• 近似误差 $ \alpha^r = \hat{f}^r(x^r) - f^r(x^r) $ 随 $ r \to \infty $ 而趋于零，确保算法能跟踪真实期望目标函数。
• 迭代点满足 $ \|x^{r+1} - x^r\| = \mathcal{O}(1/r) $，表明迭代步长逐渐减小。
• 经典随机梯度方法被证明是SSUM的一个特例，且该框架将该方法扩展至非光滑非凸问题，并提供了收敛性证明。
• 数值结果表明，SSUM在实现无线波束成形网络中更高的频谱效率总速率方面，显著优于现有算法。
• 该方法成功应用于在线字典学习，展示了其在大规模数据驱动优化中的实际应用价值。