[论文解读] Learning-based Robust Optimization: Procedures and Statistical Guarantees

L. Jeff Hong, Zhiyuan Huang+1 more|arXiv (Cornell University)|Apr 13, 2017

Advanced Statistical Process Monitoring被引用 7

一句话总结

本文提出了一种基于学习的鲁棒优化框架，通过几何形状构建数据驱动的不确定集，并结合数据分割验证步骤，确保有限样本下的统计可行性保证。核心贡献在于实现了与决策空间或不确定集维度无关的维度无关样本量要求，同时通过重构技术保持可计算性并提升目标性能。

ABSTRACT

Robust optimization (RO) is a common approach to tractably obtain safeguarding solutions for optimization problems with uncertain constraints. In this paper, we study a statistical framework to integrate data into RO, based on learning a prediction set using (combinations of) geometric shapes that are compatible with established RO tools, and a simple data-splitting validation step that achieves finite-sample nonparametric statistical guarantees on feasibility. We demonstrate how our required sample size to achieve feasibility at a given confidence level is independent of the dimensions of both the decision space and the probability space governing the stochasticity, and discuss some approaches to improve the objective performances while maintaining these dimension-free statistical feasibility guarantees.

研究动机与目标

• 开发一种可计算、数据驱动的鲁棒优化框架，确保在有限或高维数据条件下，对机会约束规划具有统计可行性。
• 通过学习能够适应数据形状的预测集，解决鲁棒优化中过度保守的问题，同时保持与鲁棒优化工具的兼容性。
• 在无需参数假设或分布知识的前提下，提供有限样本、非参数化的可行性保证。
• 通过不确定性集的迭代重构，在保持统计可行性保证的同时提升目标性能。
• 通过结合几何近似与严格验证，在小样本和高维设置下优于现有方法。

提出的方法

• 将不确定性集构造为使用几何形状（如椭球体、多面体）组合的预测集，与鲁棒优化求解器兼容。
• 采用数据分割方案：一个子集用于学习预测集，另一个子集用于验证可行性，确保有限样本置信度保证。
• 使用非参数分位数估计定义不确定性的高概率区域，避免参数分布假设。
• 应用重构步骤，基于最优性信念对不确定性集进行优化，降低保守性同时保持可行性。
• 通过形状组合在形状保真度（以减少保守性）与几何可计算性（以保持计算效率）之间取得平衡。
• 引入迭代过程，利用优化结果的反馈更新不确定性集，从而提升目标性能。

实验结果

研究问题

• RQ1 能否构建一种数据驱动的不确定性集，使得所得鲁棒优化解在有限样本下具有高置信度可行性，且与维度无关？
• RQ2 如何对不确定性集进行形状设计，以在统计保真度（减少保守性）与计算可计算性（保持与RO求解器兼容）之间取得平衡？
• RQ3 实现给定可行性置信水平所需的最小样本量是多少？该样本量是否依赖于决策空间或不确定集空间的维度？
• RQ4 与基于场景、矩量和分歧的分布鲁棒优化相比，所提方法在可行性与目标性能方面表现如何？
• RQ5 对不确定性集进行迭代精化是否能在不牺牲统计可行性保证的前提下提升目标性能？

主要发现

• 实现给定可行性置信水平所需的样本量与决策空间维度 $d$ 和不确定集空间维度 $m$ 均无关，使其适用于高维或数据有限的场景。
• 在 $d=100$ 维的线性机会约束规划中，$n=120$ 时，所提方法的可行性违反率仅为 $8.07 \times 10^{-5}$，显著优于标准方法（如 SG 和 FAST），后者或失败或产生无界解。
• 在联合 $d=11$ 维机会约束规划中，$n=120$ 时，方法实现了 -1.9373 的目标值，违反率仅为 0.0239，优于普通鲁棒优化，并在可行性和最优性方面与或超越其他方法。
• 重构过程相比普通鲁棒优化降低了保守性，实现了更优的目标值（如 -1.9373 对比 -0.0844），同时保持了可行性。
• 基于矩量的 DRO 在高维场景（$d=100$，$n=120$）中无法生成可行解，原因在于难以构建有效的矩量置信区域，而所提方法仍保持可行与高效。
• 基于 KL 散度的 DRO 表现不佳，即使在低维情况下也因难以确定足够小的分歧球而受困，而所提方法在各种设置下均保持鲁棒与高效。