[论文解读] A Machine Learning Approach to Two-Stage Adaptive Robust Optimization

Dimitris Bertsimas, Cheol Woo Kim|arXiv (Cornell University)|Jul 23, 2023

Risk and Portfolio Optimization被引用 4

一句话总结

本文提出一种机器学习方法，用于加速具有二值静态变量和多面体不确定集的两阶段自适应鲁棒优化（ARO）问题。通过列与约束生成（CCG）算法预求解多个ARO实例，该方法提取最优策略——包括静态决策、最坏情况场景和随机动态决策——并训练机器学习模型以预测这些策略，在保持高精度的同时，相比最先进算法实现了数个数量级的速度提升。

ABSTRACT

We propose an approach based on machine learning to solve two-stage linear adaptive robust optimization (ARO) problems with binary here-and-now variables and polyhedral uncertainty sets. We encode the optimal here-and-now decisions, the worst-case scenarios associated with the optimal here-and-now decisions, and the optimal wait-and-see decisions into what we denote as the strategy. We solve multiple similar ARO instances in advance using the column and constraint generation algorithm and extract the optimal strategies to generate a training set. We train a machine learning model that predicts high-quality strategies for the here-and-now decisions, the worst-case scenarios associated with the optimal here-and-now decisions, and the wait-and-see decisions. We also introduce an algorithm to reduce the number of different target classes the machine learning algorithm needs to be trained on. We apply the proposed approach to the facility location, the multi-item inventory control and the unit commitment problems. Our approach solves ARO problems drastically faster than the state-of-the-art algorithms with high accuracy.

研究动机与目标

• 为解决在实时场景中求解两阶段自适应鲁棒优化（ARO）问题时计算成本过高的问题。
• 开发一种机器学习框架，用于预测ARO问题的最优策略，包括静态决策、最坏情况场景和随机动态决策。
• 减少机器学习训练过程中不同目标类别的数量，由于不确定集实现的组合爆炸，这一措施至关重要。
• 在设施选址、库存控制和机组组合等应用中实现实时决策，提供快速且接近最优的ARO问题求解方案。

提出的方法

• 该方法使用列与约束生成（CCG）算法预求解多个相似的ARO实例，提取其最优策略，形成监督学习的训练数据集。
• 训练一个机器学习模型以预测三个组成部分：最优的静态决策、与这些决策对应最坏情况场景，以及最优的随机动态决策。
• 提出一种新颖的类别缩减技术，以限制不同目标类别的数量，从而在高维不确定集设置下提升模型泛化能力并降低模型复杂度。
• 该方法将最优策略编码为对二值静态变量、最坏情况不确定集实现和连续随机动态变量的联合预测。
• 模型在预求解的ARO实例数据集上进行训练，从而在在线部署时实现快速推理。
• 该方法在三个真实世界问题上进行了评估：设施选址、多项目库存控制和机组组合，采用基准公式。

实验结果

研究问题

• RQ1 机器学习能否有效用于预测两阶段自适应鲁棒优化中的完整最优策略——包括静态决策、最坏情况场景和随机动态决策？
• RQ2 如何减少机器学习预测任务中不同目标类别的数量，以提升高维不确定集设置下的模型可扩展性和性能？
• RQ3 所学习的策略模型在ARO问题中相比传统精确算法（如CCG）能实现多大程度的速度提升，同时保持解的质量？
• RQ4 所提出的方法能否在不同ARO应用场景（如设施选址、库存控制和机组组合）中实现泛化，并保持一致的性能提升？

主要发现

• 所提出的机器学习方法可在毫秒级别内求解两阶段ARO问题，相比最先进CCG算法实现了数个数量级的速度提升。
• 该方法保持了高精度，预测策略在所有测试实例上与CCG求得的最优解高度一致。
• 类别缩减技术显著提升了模型泛化能力并降低了训练复杂度，尤其在不确定集较大的问题中表现突出。
• 该方法优于现有用于混合整数凸优化的机器学习方法，通过将框架扩展至具有函数型随机动态决策的无限维ARO问题，实现了突破。
• 在设施选址、多项目库存控制和机组组合问题上的实证结果证实了该方法在多样化应用中的鲁棒性与可扩展性。
• 该模型对未见过的实例具有良好的泛化能力，即使在测试集包含训练数据中未出现的不确定集时，仍表现出强大的泛化性能。