[论文解读] Combating Conservativeness in Data-Driven Optimization under Uncertainty: A Solution Path Approach

Henry Lam, Huajie Qian|arXiv (Cornell University)|Sep 13, 2019

Risk and Portfolio Optimization参考文献 55被引用 5

一句话总结

该论文提出了一种基于验证的解路径方法，通过利用解路径中的低维结构而非估计完整可行集，来减少数据驱动优化中不确定性下的保守性。通过使用多变量或单变量高斯上确界验证器对参数化路径上的候选解进行验证，该方法实现了对可行性保证的收紧，且对维度的依赖性极小，并具备渐近最优性，在数值实验中优于基准方法。

ABSTRACT

In data-driven optimization, solution feasibility is often ensured through a "safe" reformulation of the uncertain constraints, such that an obtained data-driven solution is guaranteed to be feasible for the oracle formulation with high statistical confidence. Such approaches generally involve an implicit estimation of the whole feasible set that can scale rapidly with the problem dimension, in turn leading to over-conservative solutions. In this paper, we investigate a validation-based strategy to avoid set estimation by exploiting the intrinsic low dimensionality among all possible solutions output from a given reformulation. We demonstrate how our obtained solutions satisfy statistical feasibility guarantees with light dimension dependence, and how they are asymptotically optimal and thus regarded as the least conservative with respect to the considered reformulation classes. We apply this strategy to several data-driven optimization paradigms including (distributionally) robust optimization, sample average approximation and scenario optimization. Numerical experiments show encouraging performances of our strategy compared to established benchmarks.

研究动机与目标

• 解决在使用安全重构方法时，数据驱动优化中固有的过度保守性问题，这些方法隐式估计了整个可行集。
• 通过聚焦于鲁棒优化、SAA 和场景优化等重构类生成的低维解流形，减少与维度相关的保守性。
• 开发一种基于验证的策略，沿参数化解路径选择最优解，同时确保统计可行性保证。
• 提供轻度依赖于问题维度的有限样本和渐近可行性与最优性保证。
• 在目标值和可行性置信度方面优于SAA、DRO和FAST等既定基准。

提出的方法

• 该方法从给定的数据驱动重构（如鲁棒或场景优化）构造一条参数化解路径，将解表示为保守性参数的函数。
• 使用多变量高斯上确界（未归一化或归一化）对路径上的候选解进行验证，以在样本平均约束中设定统计裕量。
• 另一种验证器使用单变量高斯分布计算裕量，在适用时可提供更紧的保证。
• 通过在验证数据集上以高置信度确保解满足样本平均约束，同时最大化目标函数，来选择最优解。
• 该方法避免了对完整可行集的估计，从而减少了与维度相关的保守性。
• 该框架被应用于SAA、分布鲁棒优化和场景优化，并在不同维度和样本大小下进行了数值验证。

实验结果

研究问题

• RQ1 基于验证的策略是否可以通过避免完整可行集估计来减少数据驱动优化中的保守性？
• RQ2 解路径中的低维结构如何在高维问题中实现更好的可行性与最优性权衡？
• RQ3 哪些统计验证器可以确保在最小维度依赖下的紧密可行性保证？
• RQ4 与FAST和标准SAA等既定基准相比，所提出的验证器在目标值和可行性置信度方面表现如何？
• RQ5 该解路径方法的有限样本和渐近性能保证是什么？

主要发现

• 所提方法在重构类中实现了渐近最优性，意味着在所选重构框架下，其生成的解是可能的最不保守解。
• 可行性保证对问题维度的依赖性极小，因为该方法避免了完整可行集估计中固有的高维联合估计误差。
• 在 $ d=10, n=200 $ 的数值实验中，单变量高斯验证器实现了 -3.87 的平均目标值，优于FAST（-2.54）和普通平均值（-4.44），且保持了100%的可行性。
• 在 $ d=50, n=500 $ 的情况下，单变量高斯验证器实现了 -15.80 的平均目标值，显著优于FAST（-8.92）和普通平均值（-18.14），可行性为98.0%。
• 未归一化和归一化的高斯上确界验证器提供的可行性置信水平优于FAST和普通平均值，当适用时，单变量高斯验证器提供了最紧的边界。
• 该方法在目标值和可行性置信度方面始终优于基准方法，尤其在高维设置下表现更优，对于较大问题，目标值性能提升超过5个单位。