[论文解读] Conic Reformulations for Kullback-Leibler Divergence Constrained Distributionally Robust Optimization and Applications

Burak Kocuk|arXiv (Cornell University)|Jul 12, 2020

Risk and Portfolio Optimization参考文献 28被引用 4

一句话总结

该论文提出了一种基于Kullback-Leibler（KL）散度约束于经验分布的分布鲁棒优化（DRO）问题的锥形重表述，利用KL散度的指数锥可表示性。由此得到的鲁棒对偶问题是一个可通过商业锥求解器求解的双指数锥规划问题，在报童问题和无容量限制设施选址问题中，相较于随机规划，展现出更优的最坏情况表现和分散性表现，仅在平均成本上出现轻微下降。

ABSTRACT

In this paper, we consider a distributionally robust optimization (DRO) model in which the ambiguity set is defined as the set of distributions whose Kullback-Leibler (KL) divergence to an empirical distribution is bounded. Utilizing the fact that KL divergence is an exponential cone representable function, we obtain the robust counterpart of the KL divergence constrained DRO problem as a dual exponential cone constrained program under mild assumptions on the underlying optimization problem. The resulting conic reformulation of the original optimization problem can be directly solved by a commercial conic programming solver. We specialize our generic formulation to two classical optimization problems, namely, the Newsvendor Problem and the Uncapacitated Facility Location Problem. Our computational study in an out-of-sample analysis shows that the solutions obtained via the DRO approach yield significantly better performance in terms of the dispersion of the cost realizations while the central tendency deteriorates only slightly compared to the solutions obtained by stochastic programming.

研究动机与目标

• 为解决随机规划对分布假设要求过强的问题，以及鲁棒优化可能导致过度保守解的问题。
• 开发基于KL散度模糊集的分布鲁棒优化（DRO）问题的可计算重表述。
• 利用KL散度的指数锥可表示性，实现通过锥规划求解器高效求解。
• 在经典优化问题上评估所提DRO方法的性能，尤其关注成本分散性和最坏结果表现。
• 证明DRO方法在成本实现上显著提升鲁棒性，同时仅在集中趋势上造成微小损失。

提出的方法

• 利用KL散度可表示为指数锥约束的事实，实现锥规划的重表述。
• 在温和假设下，推导KL约束DRO问题的对偶指数锥约束规划作为其鲁棒对偶形式。
• 应用锥对偶性，将原始DRO问题转化为适合内点法求解的形式。
• 将通用重表述特化至报童问题和无容量限制设施选址（UFL）问题，并构建问题特定的锥形式。
• 通过蒙特卡洛采样进行样本外分析，评估不同需求分布（均匀分布、二项分布、泊松分布）下的性能表现。
• 使用商业锥求解器（如MOSEK）直接求解所得的指数锥规划问题。

实验结果

研究问题

• RQ1 能否利用指数锥表示法，将KL散度约束的DRO问题重表述为可计算的锥规划？
• RQ2 与随机规划相比，DRO解在成本分散性和最坏结果表现方面表现如何？
• RQ3 在使用基于KL散度的模糊集时，中心趋势（平均成本）与鲁棒性（标准差、最差10%成本）之间的权衡如何？
• RQ4 在分布模糊性下，DRO方法在设施选址和报童问题中能多大程度上提升鲁棒性？
• RQ5 所提出的锥重表述能否在无需定制算法开发的情况下，通过商业求解器高效求解？

主要发现

• 在需求为Uniform(0,10)的UFL问题中，θ=0.05的DRO方法将平均成本从23.11提高至24.52，但标准差从3.47降至0.92，最差10%成本从29.19降至26.10。
• 在Binomial(10,0.5)需求下，DRO方法将标准差从1.88降至0.52，最差10%成本从28.15降至25.86，尽管平均成本略有上升。
• 在Poisson(5)需求下，DRO方法将标准差从2.67降至0.74，最差10%成本从29.89降至26.34，平均成本增加极小。
• 在DRO下，中位数成本保持稳定或略有上升，而四分位距和最大值显著缩小，表明鲁棒性显著提升。
• 随着模糊水平增加，最优设施配置从随机规划下的一个中心设施转变为DRO下的两个聚类设施，反映出对需求不确定性的更强鲁棒性。
• 锥重表述使问题可直接通过商业求解器求解，证实了该方法在现实世界DRO问题中的实际可行性。