[论文解读] Distributionally Robust Stochastic Optimization with Wasserstein Distance

Rui Gao, Anton J. Kleywegt|arXiv (Cornell University)|Apr 8, 2016

Risk and Portfolio Optimization被引用 97

一句话总结

该论文提出了一种基于Wasserstein距离定义模糊集的分布鲁棒随机优化（DRSO）框架，实现了可处理且可解释的最坏情况分布估计。该研究建立了相应极小极大问题的强对偶性，并表明数据驱动的DRSO可被鲁棒优化近似，且在目标函数增长速率的一般条件下，通过一阶最优性条件推导出显式的最坏情况分布。

ABSTRACT

Distributionally robust stochastic optimization (DRSO) is an approach to optimization under uncertainty in which, instead of assuming that there is a known true underlying probability distribution, one hedges against a chosen set of distributions. In this paper we first point out that the set of distributions should be chosen to be appropriate for the application at hand, and that some of the choices that have been popular until recently are, for many applications, not good choices. We next consider sets of distributions that are within a chosen Wasserstein distance from a nominal distribution. Such a choice of sets has two advantages: (1) The resulting distributions hedged against are more reasonable than those resulting from other popular choices of sets. (2) The problem of determining the worst-case expectation over the resulting set of distributions has desirable tractability properties. We derive a strong duality reformulation of the corresponding DRSO problem and construct approximate worst-case distributions explicitly via the first-order optimality conditions of the dual problem. Our contributions are four-fold. (i) We identify necessary and sufficient conditions for the existence of a worst-case distribution, which are naturally related to the growth rate of the objective function. (ii) We show that the worst-case distributions resulting from an appropriate Wasserstein distance have a concise structure and a clear interpretation. (iii) Using this structure, we show that data-driven DRSO problems can be approximated to any accuracy by robust optimization problems, and thereby many DRSO problems become tractable by using tools from robust optimization. (iv) Our strong duality result holds in a very general setting. As examples, we show that it can be applied to infinite-dimensional process control and intensity estimation for point processes.

研究动机与目标

• 为解决传统模糊集在分布鲁棒随机优化中的局限性，特别是基于矩约束的模糊集可能导致过度保守或不切实际的最坏情况分布。
• 提出一种基于Wasserstein距离的模糊集，更好地反映数据驱动的不确定性，并产生更合理的最坏情况分布。
• 在一般设定下建立所得到的DRSO问题的强对偶性，实现可处理的重表述。
• 通过一阶最优性条件显式构造最坏情况分布，确保其可解释性和计算可行性。
• 展示该框架在无限维问题（如过程控制和点过程强度估计）中的适用性。

提出的方法

• 使用以名义分布ν为中心、半径为θ的Wasserstein球来定义模糊集，确保分布之间在度量空间中足够接近。
• 推导DRSO问题的强对偶性重表述，将极小极大问题转化为适合优化的对偶形式。
• 通过求解对偶问题的一阶最优性条件，显式构造最坏情况分布，得到清晰的结构形式。
• 通过利用对偶表述和Wasserstein度量的性质，将该框架应用于无限维设定。
• 利用Bolley等人[13]的浓度不等式，基于经验数据选择Wasserstein半径θ，确保真实分布以高概率包含在模糊集中。
• 证明数据驱动的DRSO问题可被任意精度的鲁棒优化问题近似，从而可利用现有的鲁棒优化工具。

实验结果

研究问题

• RQ1 在基于Wasserstein距离的DRSO框架中，最坏情况分布存在的充要条件是什么？
• RQ2 当模糊集通过Wasserstein球定义时，如何显式构造最坏情况分布？
• RQ3 在Wasserstein模糊集下获得的最坏情况分布具有何种结构形式，其可解释性如何？
• RQ4 数据驱动的DRSO问题能否被鲁棒优化问题近似？若能，其近似精度如何？
• RQ5 如何基于经验数据以统计上合理的方式选择Wasserstein球的半径θ？

主要发现

• 当且仅当目标函数在无穷远处增长足够快时，最坏情况分布存在，该条件与函数的增长速率直接相关，是必要且充分的。
• 由Wasserstein模糊集导出的最坏情况分布具有简洁且可解释的结构：其将质量从名义分布向最坏情况尾部分配，且通过最优性条件导出显式公式。
• 对于线性目标函数，最坏情况分布被显式构造为μ_t^q，其中t = VaR_α^ν[-w^Tξ]，且最坏情况风险价值是涉及Wasserstein距离的积分方程的唯一解。
• 基于Wasserstein模糊集的DRSO问题可被任意精度的鲁棒优化问题近似，使得许多DRSO问题可借助现有的鲁棒优化工具求解。
• 推导出经验Wasserstein距离的浓度不等式，使得可基于数据驱动方式选择半径θ，确保真实分布以高概率（如95%置信水平）包含在模糊集中。