[论文解读] Algorithms for stochastic optimization with functional or expectation constraints

Guanghui Lan, Zhiqiang Zhou|arXiv (Cornell University)|Apr 13, 2016

Stochastic Gradient Optimization Techniques参考文献 36被引用 28

一句话总结

本文提出了两种新颖的随机逼近算法——合作随机逼近（CSA）与合作随机参数逼近（CSPA）——用于求解具有函数约束或期望约束的随机优化问题。该方法在一般凸问题下实现最优收敛速率$\mathcal{O}(1/\epsilon^2)$，在强凸问题下实现$\mathcal{O}(1/\epsilon)$的最优收敛速率，且无需进行对偶空间迭代或对偶变量估计。

ABSTRACT

This paper considers the problem of minimizing an expectation function over a closed convex set, coupled with a {\color{black} functional or expectation} constraint on either decision variables or problem parameters. We first present a new stochastic approximation (SA) type algorithm, namely the cooperative SA (CSA), to handle problems with the constraint on devision variables. We show that this algorithm exhibits the optimal ${\cal O}(1/ε^2)$ rate of convergence, in terms of both optimality gap and constraint violation, when the objective and constraint functions are generally convex, where $ε$ denotes the optimality gap and infeasibility. Moreover, we show that this rate of convergence can be improved to ${\cal O}(1/ε)$ if the objective and constraint functions are strongly convex. We then present a variant of CSA, namely the cooperative stochastic parameter approximation (CSPA) algorithm, to deal with the situation when the constraint is defined over problem parameters and show that it exhibits similar optimal rate of convergence to CSA. It is worth noting that CSA and CSPA are primal methods which do not require the iterations on the dual space and/or the estimation on the size of the dual variables. To the best of our knowledge, this is the first time that such optimal SA methods for solving functional or expectation constrained stochastic optimization are presented in the literature.

研究动机与目标

• 解决决策变量或问题参数上具有函数或期望约束的随机优化问题。
• 开发避免传统方法中常见的对偶空间迭代与对偶变量估计的原始方法。
• 在期望约束下，为一般凸问题与强凸问题建立最优收敛速率。
• 为随机规划中的约束处理提供统一框架，尤其适用于CVaR、半监督学习与鲁棒分类等应用。
• 修正并改进先前发表于《Computational Optimization and Applications》中的版本，确保理论与算法的严谨性。

提出的方法

• 为决策变量上存在约束的问题提出合作随机逼近（CSA）算法，采用原始方法并结合随机次梯度。
• 采用协作步长策略，在单一更新机制中平衡最优性间隙与约束违反。
• 为约束定义在问题参数上的问题引入合作随机参数逼近（CSPA）算法，扩展CSA框架。
• 通过无偏随机预言机访问目标函数与约束函数，利用递归平均稳定迭代序列。
• 应用带自适应步长规则的投影次梯度方法，在凸性假设下确保收敛至最优解。
• 通过李雅普诺夫分析与鞅技术建立收敛性，证明一般凸与强凸情形下的最优迭代复杂度。

实验结果

研究问题

• RQ1 我们能否设计一种原始随机算法，使其在具有函数或期望约束的随机优化问题中实现最优收敛速率？
• RQ2 在约束随机优化中，是否可能消除对偶空间迭代与对偶变量估计的需求？
• RQ3 当目标函数与约束函数均为凸时，随机算法的最优收敛速率是多少？
• RQ4 当目标函数与约束函数均为强凸时，收敛速率如何变化？
• RQ5 所提出的框架能否扩展至处理定义在问题参数而非决策变量上的约束？

主要发现

• CSA算法在一般凸问题中，对最优性间隙与约束违反均实现最优收敛速率$\mathcal{O}(1/\epsilon^2)$。
• 对于强凸目标函数与约束，CSA算法实现更快的$\mathcal{O}(1/\epsilon)$收敛速率。
• CSPA算法将这些收敛保证扩展至参数约束问题，同时保持相同的最优速率。
• 所提出的算法为原始方法，无需对偶空间迭代或对偶变量大小的估计。
• 理论结果修正并改进了先前发表于《Computational Optimization and Applications》中的版本，解决了先前的技术问题。
• 该框架适用于实际问题，如CVaR约束的组合优化、半监督学习与鲁棒度量学习。