[论文解读] Efficient Algorithms for Distributionally Robust Stochastic Optimization with Discrete Scenario Support

Zhe Zhang, Shabbir Ahmed+1 more|arXiv (Cornell University)|Sep 24, 2019

Risk and Portfolio Optimization参考文献 14被引用 5

一句话总结

该论文提出了针对具有离散场景支持的分布鲁棒两阶段随机优化的新颖且高效的算法，将问题重 formulation 为三线性极小-极大-极大鞍点问题，实现了仅轻微依赖于场景数 $K$ 的 $ ilde{O}(1/ ho)$ 迭代复杂度。关键贡献是一种无需调参的基于平滑化的算法，具备近似最优的收敛性，且通过在Kantorovich歧义集上采用无投影更新，进一步提升了性能，仅增加 $ ilde{O}( ext{poly}( ext{log} K))$ 次额外迭代。

ABSTRACT

Recently, there has been a growing interest in distributionally robust optimization (DRO) as a principled approach to data-driven decision making. In this paper, we consider a distributionally robust two-stage stochastic optimization problem with discrete scenario support. While much research effort has been devoted to tractable reformulations for DRO problems, especially those with continuous scenario support, few efficient numerical algorithms were developed, and most of them can neither handle the non-smooth second-stage cost function nor the large number of scenarios $K$ effectively. We fill the gap by reformulating the DRO problem as a trilinear min-max-max saddle point problem and developing novel algorithms that can achieve an $\mathcal{O}(1/ε)$ iteration complexity which only mildly depends on $K$. The major computations involved in each iteration of these algorithms can be conducted in parallel if necessary. Besides, for solving an important class of DRO problems with the Kantorovich ball ambiguity set, we propose a slight modification of our algorithms to avoid the expensive computation of the probability vector projection at the price of an $\mathcal{O}(\sqrt{K})$ times more iterations. Finally, preliminary numerical experiments are conducted to demonstrate the empirical advantages of the proposed algorithms.

研究动机与目标

• 解决在 $K$ 较大且第二阶段代价函数非光滑时，分布鲁棒两阶段随机规划缺乏高效数值算法的问题。
• 克服现有方法对强结构假设（如 $ heta$ 上的凹性）的依赖，或因概率向量投影导致的高每轮计算成本的局限性。
• 设计仅对场景数 $K$ 有轻微依赖的迭代复杂度算法，从而实现大规模数据驱动与风险厌恶优化问题的可扩展性。
• 通过消除昂贵的概率向量投影，为Kantorovich球歧义集提供实用且可扩展的解决方案——这类歧义集在鲁棒优化中十分常见。
• 通过在合成数据与真实数据集（包括SSN和合成投资组合）上的数值实验，展示所提方法的优越性。

提出的方法

• 将分布鲁棒两阶段随机规划问题重表述为三线性极小-极大-极大鞍点问题，从而可应用先进的首阶方法。
• 提出一种顺序对偶（Sequential Dual, SD）算法，利用平滑化技术处理非光滑的第二阶段代价函数，并实现 $ ilde{O}(1/ ho)$ 的迭代复杂度。
• 引入一种无需调参的随机Bundle-Level（Stochastic Bundle-Level, SSL）算法，通过自适应步长避免参数调优，同时保持相同的迭代复杂度量级。
• 针对Kantorovich球歧义集，通过引入带松弛变量的对偶形式，修改算法以避免计算概率向量投影，从而降低每轮迭代的计算成本。
• 通过解耦各场景子问题，实现每轮迭代的并行化，使算法在现代计算架构上能高效实现。
• 理论上使用精确的子问题求解，但该框架设计具有可扩展性，未来可拓展至处理不精确或近似子问题求解的情形。

实验结果

研究问题

• RQ1 能否为具有离散场景支持的分布鲁棒两阶段随机规划问题设计一种首阶算法，使其迭代复杂度与 $K$ 无关？
• RQ2 在DRO中，如何在不依赖凹性等严格结构假设的前提下，高效处理非光滑的第二阶段代价函数？
• RQ3 是否可能在基于Kantorovich球的DRO问题中，消除昂贵的概率向量投影步骤，同时保持收敛性与迭代复杂度？
• RQ4 所提算法在大规模场景下的实际性能，相较于PDHG、Benders分解与镜像近端等现有方法表现如何？
• RQ5 当场景数 $K$ 增加时，算法性能如何变化，特别是在风险厌恶与数据驱动的应用中？

主要发现

• 所提出的SD与SSL算法实现了 $ ilde{O}(1/ ho)$ 的迭代复杂度，其对 $K$ 的依赖程度极低，显著优于依赖 $K$ 的现有方法。
• 在Kantorovich球设置下，改进后的算法避免了概率向量投影，仅引入 $ ilde{O}( ext{poly}( ext{log} K))$ 的额外迭代次数，使其在 $K$ 较大时仍具实用性。
• 在数值实验中，SSL算法在速度与间隙减少方面均优于PDHG与Benders分解，尤其在SSN(50)与合成(1000)等大规模问题上表现突出。
• 在SSN(50)数据集与单纯形歧义集下，SSL在31.3秒内达到107的间隙，而Benders达到相似间隙耗时578秒。
• 在Kantorovich球设置下，$ ho = 0.01$ 时，SSL在25.0秒内达到90的间隙，而Benders耗时超过500秒才收敛。
• 无参数的SSL算法在收敛速度与最终间隙方面始终优于PDHG与Benders，尤其在高维与大规模 $K$ 的场景中表现更优。