[论文解读] A Stochastic Primal-Dual Method for Optimization with Conditional Value at Risk Constraints

Avinash N. Madavan, Subhonmesh Bose|arXiv (Cornell University)|Aug 2, 2019

Risk and Portfolio Optimization参考文献 43被引用 3

一句话总结

本文提出了一种用于风险约束优化的随机原始-对偶次梯度方法，采用条件风险价值（CVaR）作为风险度量。该算法在线处理独立同分布样本，在使用固定步长的情况下，于K次迭代内实现η/√K近似可行性和最优性，且通过简单修改标准原始-对偶方案，避免了对对偶变量的先验边界要求。

ABSTRACT

We study a first-order primal-dual subgradient method to optimize risk-constrained risk-penalized optimization problems, where risk is modeled via the popular conditional value at risk (CVaR) measure. The algorithm processes independent and identically distributed samples from the underlying uncertainty in an online fashion, and produces an $\eta/\sqrt{K}$-approximately feasible and $\eta/\sqrt{K}$-approximately optimal point within $K$ iterations with constant step-size, where $\eta$ increases with tunable risk-parameters of CVaR. We find optimized step sizes using our bounds and precisely characterize the computational cost of risk aversion as revealed by the growth in $\eta$. Our proposed algorithm makes a simple modification to a typical primal-dual stochastic subgradient algorithm. With this mild change, our analysis surprisingly obviates the need for a priori bounds or complex adaptive bounding schemes for dual variables assumed in many prior works. We also draw interesting parallels in sample complexity with that for chance-constrained programs derived in the literature with a very different solution architecture.

研究动机与目标

• 解决当底层分布未知或难以处理时，风险敏感优化问题的计算挑战，特别是采用CVaR约束的情形。
• 开发一种一阶随机算法，以顺序在线方式处理样本，适用于大规模或流式数据场景。
• 为基于CVaR的风险度量提供次优性和约束违反的有限样本收敛保证。
• 消除以往工作中对对偶变量先验边界或复杂自适应边界方案的依赖，这是以往方法的常见要求。
• 通过收敛界中参数η的增长，刻画风险规避的计算成本。

提出的方法

• 通过修改标准原始-对偶随机次梯度方法的对偶更新规则，以在无需事先知晓对偶变量边界的情况下处理CVaR约束。
• 利用CVaR的变分表征：CVaRδ[yω] = min_u {u + 1/(1−δ) E[(yω − u)+]}，从而通过采样实现次梯度计算。
• 在原始-对偶更新中使用固定步长，并针对随机在线设置进行收敛性分析。
• 采用原始迭代的遍历平均（x̄K = 1/K ∑_{j=1}^K xj）以提高收敛稳定性并降低方差。
• 通过有限样本上的经验平均数值估计CVaR值，从而在无需显式分布知识的情况下实现算法部署。
• 基于次优性和不可行性的理论上限，优化步长和迭代次数，从而导出K*和γ*的显式表达式。

实验结果

研究问题

• RQ1 能否在不依赖对偶变量先验边界的前提下，使随机原始-对偶方法在有限样本下实现CVaR约束优化的收敛保证？
• RQ2 在CVaR中，风险规避参数α和β的增加如何影响风险规避的计算成本？
• RQ3 在随机设置下，达到ε-近似最优性和可行性所需的样本复杂度与迭代复杂度是多少？
• RQ4 与标准的雅可比型对偶更新相比，所提算法在收敛性和样本效率方面表现如何？
• RQ5 理论收敛速率界在数值实验中在多大程度上反映了实际性能？

主要发现

• 该算法在K次迭代后，期望意义下实现η/√K近似最优性和可行性，其中η随风险规避参数α和β的增长而增大。
• 所提方法消除了对复杂对偶变量边界方案的需求，相较于以往方法实现了显著简化。
• 对于α = 0.3且β = 0.2的简单示例，优化后的迭代次数K*较高（超过1000次），但ε = 5×10⁻³的容差通常早于理论界预测的时间达到。
• 数值结果表明，原始迭代的遍历平均收敛平稳，并在多个样本路径上均满足次优性和不可行性的ε边界。
• 使用更新原始迭代的高斯-赛德尔对偶更新与使用旧原始迭代的雅可比型更新表现出几乎相同的收敛行为，尽管后者每轮迭代仅使用一半的样本数。
• 所提方法的样本复杂度与机会约束规划的样本复杂度表现出有趣的相似性，尽管其算法架构不同。