[论文解读] Dynamic optimization with side information

Dimitris Bertsimas, Christopher McCord+1 more|arXiv (Cornell University)|Jul 17, 2019

Supply Chain and Inventory Management被引用 6

一句话总结

本文提出样本鲁棒优化与附加信息（SRO-SI），一种可处理的框架，通过集成机器学习（如k-最近邻、随机森林）来加权数据驱动的不确定集，应用于多阶段动态决策问题的鲁棒优化。该方法实现了渐近最优性，在库存、金融和运输规划等示例中，其样本外性能相比其他方法最高提升15%，且12阶段问题的计算时间低于一分钟。

ABSTRACT

We develop a tractable and flexible approach for incorporating side information into dynamic optimization under uncertainty. The proposed framework uses predictive machine learning methods (such as $k$-nearest neighbors, kernel regression, and random forests) to weight the relative importance of various data-driven uncertainty sets in a robust optimization formulation. Through a novel measure concentration result for a class of machine learning methods, we prove that the proposed approach is asymptotically optimal for multi-period stochastic programming with side information. We also describe a general-purpose approximation for these optimization problems, based on overlapping linear decision rules, which is computationally tractable and produces high-quality solutions for dynamic problems with many stages. Across a variety of examples in inventory management, finance, and shipment planning, our method achieves improvements of up to 15\% over alternatives and requires less than one minute of computation time on problems with twelve stages.

研究动机与目标

• 开发一种通用、可处理的方法，将附加信息整合到不确定环境下的动态优化中。
• 在未知最优决策规则的多阶段随机规划中，弥合预测分析与预判决策之间的鸿沟。
• 确保在使用非参数机器学习方法加权不确定集时，实现渐近最优性。
• 通过重叠线性决策规则，将鲁棒优化扩展至高阶段动态问题。
• 通过实证验证，相比SAA和无附加信息的SRO，本方法在样本外性能上表现更优。

提出的方法

• 利用预测性机器学习方法（k-最近邻、核回归、随机森林）根据历史数据点与观测到的附加信息的接近程度，为其分配权重。
• 基于最近邻点周围使用ℓ₁范数构造数据驱动的不确定集，其半径ε随样本量减小。
• 应用一种新颖的测度集中结果，在较弱正则性条件下证明加权不确定集的渐近最优性。
• 采用重叠线性决策规则，高效地近似高维、多阶段策略。
• 通过多策略近似方案求解所得的鲁棒优化问题，同时保持计算可处理性。
• 在实证评估中，使用样本平均近似（SAA）和鲁棒优化作为基线比较。

实验结果

研究问题

• RQ1 能否系统性地将机器学习方法整合到鲁棒优化中，以改善不确定环境下的动态决策？
• RQ2 当使用非参数学习方法加权不确定集时，所提出的框架是否能实现渐近最优性？
• RQ3 在多阶段动态问题中，附加信息的引入如何影响样本外性能？
• RQ4 该方法能否在保持计算可处理性的前提下，扩展至具有许多阶段的问题？
• RQ5 与无附加信息的SAA和SRO相比，所提出方法的实证性能增益如何？

主要发现

• 在运输规划、库存管理及金融示例中，所提出的SRO-SI方法相比其他方法，样本外利润最高提升15%。
• 在运输规划示例中，SRO-SI显著优于SAA和无附加信息的SRO，经多重检验校正后p值均小于0.05。
• 由于在弱正则性条件下，针对局部学习方法提出的新测度集中结果，该方法实现渐近最优性。
• 采用重叠线性决策规则的多策略近似方案，使12阶段问题的求解时间在一分钟以内。
• 实证结果表明，即使SAA和SRO在无附加信息时表现相近，引入附加信息仍能带来显著的性能提升。
• 该框架能有效扩展至高维、多阶段问题，同时保持优异的样本外性能。