[论文解读] Decomposition Algorithm for Distributionally Robust Optimization using Wasserstein Metric

Fengqiao Luo, Sanjay Mehrotra|arXiv (Cornell University)|Apr 12, 2017

Risk and Portfolio Optimization参考文献 42被引用 22

一句话总结

该论文提出了一种基于Wasserstein度量的分布鲁棒优化的分解算法，将问题重 formulation 为半无限规划问题，并通过交换法（非凸情形）和中心切面法（凸情形）求解。该方法在鲁棒逻辑回归模型上仅需20–50次oracle调用即可实现五位有效数字的精度，所得解的预测误差低于标准模型。

ABSTRACT

We study distributionally robust optimization (DRO) problems where the ambiguity set is defined using the Wasserstein metric. We show that this class of DRO problems can be reformulated as semi-infinite programs. We give an exchange method to solve the reformulated problem for the general nonlinear model, and a central cutting-surface method for the convex case, assuming that we have a separation oracle. We used a distributionally robust generalization of the logistic regression model to test our algorithm. Numerical experiments on the distributionally robust logistic regression models show that the number of oracle calls are typically 20 ? 50 to achieve 5-digit precision. The solution found by the model is generally better in its ability to predict with a smaller standard error.

研究动机与目标

• 解决通过Wasserstein度量定义模糊集的分布鲁棒优化问题，尤其在样本量较小时的情形。
• 开发一种分解框架，通过利用模糊集中的结构特征，实现此类问题的高效求解。
• 为所提出的算法提供有限收敛性保证及全局线性收敛速率。
• 在分布鲁棒逻辑回归模型上实证验证算法性能。
• 通过对偶与分解方法，使该框架可扩展应用于混合整数及非凸问题。

提出的方法

• 通过锥对偶性（无对偶间隙）对内部分布鲁棒问题进行对偶化，将Wasserstein鲁棒优化问题重 formulation 为半无限规划问题。
• 利用分解结构，使约束集在观测样本间分解，从而为每个数据点独立求解分离子问题。
• 对一般非线性模型采用交换法，通过迭代求解主问题与分离子问题以逐步优化解。
• 对凸情形应用中心切面算法，利用半无限规划的结构特性，实现全局线性收敛。
• 集成分离oracle以高效求解子问题，使算法可随问题规模扩展。
• 采用分布鲁棒的一般化逻辑回归作为测试平台，评估算法在真实世界类似问题中的性能表现。

实验结果

研究问题

• RQ1 Wasserstein鲁棒优化问题能否被重 formulation 为具有可分解结构的半无限规划问题，以实现高效求解？
• RQ2 针对一般非线性情形的交换法是否能实现有限次收敛至所需精度的解？
• RQ3 在所提出的重 formulation 下，中心切面法在凸情形下是否能实现全局线性收敛速率？
• RQ4 在实践中，求解鲁棒逻辑回归模型以达到高精度解，通常需要多少次oracle调用与切面数量？
• RQ5 所提出的鲁棒模型在预测精度与标准误方面是否优于标准逻辑回归模型？

主要发现

• 内部分布鲁棒问题被重 formulation 为无对偶间隙的锥线性规划，从而支持半无限规划的重 formulation。
• 分解结构使得每个观测样本的分离问题可独立求解，从而高效支持切面法与交换法的实现。
• 交换法可实现有限次收敛至五位有效数字精度的解，通常仅需20–50次oracle调用。
• 中心切面法展现出全局线性收敛速率，充分利用了问题的结构性质。
• 在分布鲁棒逻辑回归模型中，添加的切面数量通常为训练样本数的3–10倍。
• 求解时间小于标准逻辑回归的100倍，且鲁棒模型在预测性能上更优，标准误更小。