[论文解读] Data-Driven Robust Optimization using Unsupervised Deep Learning

Marc Goerigk, Jannis Kurtz|UvA-DARE (University of Amsterdam)|Nov 19, 2020

Risk and Portfolio Optimization参考文献 46被引用 6

一句话总结

本文提出了一种数据驱动的鲁棒优化框架，利用无监督深度学习从历史数据中构建非凸、凸集的并集不确定性集，从而获得优于经典方法的鲁棒解。该方法将对偶问题公式化为凸二次混合整数规划，相较于基于核的方法，在噪声较大或高维设置下表现出更优的目标值和可行性。

ABSTRACT

Robust optimization has been established as a leading methodology to approach decision problems under uncertainty. To derive a robust optimization model, a central ingredient is to identify a suitable model for uncertainty, which is called the uncertainty set. An ongoing challenge in the recent literature is to derive uncertainty sets from given historical data that result in solutions that are robust regarding future scenarios. In this paper we use an unsupervised deep learning method to learn and extract hidden structures from data, leading to non-convex uncertainty sets and better robust solutions. We prove that most of the classical uncertainty classes are special cases of our derived sets and that optimizing over them is strongly NP-hard. Nevertheless, we show that the trained neural networks can be integrated into a robust optimization model by formulating the adversarial problem as a convex quadratic mixed-integer program. This allows us to derive robust solutions through an iterative scenario generation process. In our computational experiments, we compare this approach to a similar approach using kernel-based support vector clustering. We find that uncertainty sets derived by the unsupervised deep learning method find a better description of data and lead to robust solutions that outperform the comparison method both with respect to objective value and feasibility.

研究动机与目标

• 为解决在鲁棒优化中从历史数据构建有效不确定性集的挑战，特别是当数据包含异常值或复杂结构时。
• 开发一种数据驱动方法，更有效地捕捉传统凸不确定性集难以表达的非凸和非连通数据模式。
• 在保持计算可处理性的前提下，实现对复杂、学习得到的不确定性集的鲁棒优化，通过问题重构实现。
• 在解的质量和计算效率方面，对比基于深度学习的不确定性集与基于核的支持向量聚类方法的性能。

提出的方法

• 使用一类深度神经网络学习历史数据的潜在结构，并将非凸不确定性集定义为有限个凸集的并集。
• 不确定性集的每个分量被定义为多面体与凸范数约束的交集，从而实现复杂的几何表达。
• 将对偶鲁棒优化问题重构为凸二次混合整数规划，以通过优化实现精确求解。
• 利用历史数据对问题进行分解，以消除二元变量，从而通过一系列连续子问题求解。
• 采用迭代场景生成过程，基于学习到的不确定性集对鲁棒解进行精炼。
• 通过将最坏情况场景识别问题视为双层优化问题，将训练好的神经网络集成到鲁棒优化框架中。

实验结果

研究问题

• RQ1 无监督深度学习能否在鲁棒优化中有效建模来自历史数据的复杂非凸不确定性集？
• RQ2 基于深度学习的不确定性集在目标值和可行性方面与基于核的支持向量聚类相比表现如何？
• RQ3 尽管在非凸不确定性集上优化属于NP难问题，该方法是否仍具有计算可处理性？
• RQ4 在存在噪声或高维数据的情况下，该方法是否比离散场景法或基于核的方法具有更好的泛化能力？
• RQ5 与凸包近似相比，不确定性集的非凸结构在两阶段鲁棒优化中能在多大程度上提升鲁棒性？

主要发现

• 从深度学习中获得的不确定性集比基于核的聚类更准确地捕捉复杂数据结构，尤其在高维或噪声数据中表现更优。
• 在随机生成的20维问题中，深度学习方法在目标值和可行性方面始终优于基于核的聚类方法，且在十组路径中的五组路径上，神经网络解明显更优。
• 在真实世界数据实验中，深度学习方法在问题规模增大时表现出更好的可扩展性，并且计算效率超过基于核的方法，同时仍能产生更高品质的解。
• 对于相对无噪声的数据，离散场景法能快速生成高质量解，但深度学习方法在关键案例（如路径03）中仍表现更优。
• 对学习到的不确定性集上的对偶问题被成功重构为凸二次混合整数规划，从而在非凸性存在的情况下仍能实现精确求解。
• 该方法在不确定性集上优化属于强NP难问题，但通过重构可实现高效分解求解，使其在实际应用中具备可行性。