[论文解读] Algorithms for stochastic optimization with expectation constraints

Guanghui Lan, Zhiqiang Zhou|arXiv (Cornell University)|Apr 13, 2016

Stochastic Gradient Optimization Techniques参考文献 29被引用 29

一句话总结

本文提出了两种新颖的随机逼近算法——合作随机逼近（CSA）与合作随机参数逼近（CSPA）——用于求解带有期望约束的随机优化问题。CSA在凸问题下达到最优的 ${\cal O}(1/\sqrt{N})$ 收敛速率，在强凸问题下达到 ${\cal O}(1/N)$，且无需进行对偶空间迭代或对偶变量估计。

ABSTRACT

This paper considers the problem of minimizing an expectation function over a closed convex set, coupled with an expectation constraint on either decision variables or problem parameters. We first present a new stochastic approximation (SA) type algorithm, namely the cooperative SA (CSA), to handle problems with the expectation constraint on devision variables. We show that this algorithm exhibits the optimal ${\cal O}(1/\sqrt{N})$ rate of convergence, in terms of both optimality gap and constraint violation, when the objective and constraint functions are generally convex, where $N$ denotes the number of iterations. Moreover, we show that this rate of convergence can be improved to ${\cal O}(1/N)$ if the objective and constraint functions are strongly convex. We then present a variant of CSA, namely the cooperative stochastic parameter approximation (CSPA) algorithm, to deal with the situation when the expectation constraint is defined over problem parameters and show that it exhibits similar optimal rate of convergence to CSA. It is worth noting that CSA and CSPA are primal methods which do not require the iterations on the dual space and/or the estimation on the size of the dual variables. To the best of our knowledge, this is the first time that such optimal SA methods for solving expectation constrained stochastic optimization are presented in the literature.

研究动机与目标

• 解决决策变量或问题参数受期望约束的随机优化问题。
• 开发避免对偶空间迭代与对偶变量估计的原始方法，此类方法在传统方法中较为常见。
• 在期望约束下，为凸与强凸情形建立最优收敛速率。
• 提供首个具有可证明最优收敛速率的期望约束随机优化的随机逼近方法。

提出的方法

• 针对决策变量带有期望约束的问题，提出合作随机逼近（CSA）算法，采用原始方法与单重循环更新机制。
• 采用协作更新机制，在每次迭代中同时减小最优性间隙与约束违反量。
• 通过分析一般凸性下的期望次梯度范数与约束违反项，推导收敛速率。
• 针对期望约束作用于问题参数而非决策变量的问题，提出变体——合作随机参数逼近（CSPA）。
• 采用仅原始框架，避免对偶变量估计，简化实现并降低计算开销。
• 通过鞅差序列与几乎必然收敛论证，在随机设置下建立收敛速率。

实验结果

研究问题

• RQ1 是否存在一种原始随机逼近方法，可在决策变量带有期望约束的随机优化问题中实现最优收敛速率？
• RQ2 在一般凸性假设下，此类问题的收敛速率可保证为多少？
• RQ3 在强凸性条件下，收敛速率是否可提升至 ${\cal O}(1/N)$？
• RQ4 该框架是否可扩展以处理作用于问题参数而非决策变量的期望约束？
• RQ5 是否可能在不需对偶空间迭代或对偶变量估计的前提下实现最优速率？

主要发现

• CSA 算法在一般凸问题下，对最优性间隙与约束违反量均达到 ${\cal O}(1/\sqrt{N})$ 的收敛速率。
• 在强凸条件下，CSA 的收敛速率提升至 ${\cal O}(1/N)$，与无约束问题的最佳已知速率一致。
• CSPA 算法将此性能扩展至问题参数受期望约束的情形，同时保持相同的最优收敛速率。
• CSA 与 CSPA 均为原始方法，无需对偶空间迭代或对偶变量大小的估计。
• 据作者所知，这是首项提出具有最优收敛速率的期望约束随机优化随机逼近方法的工作。
• 理论分析证实，所提算法在所考虑的问题类中具有最优的收敛速率。