[论文解读] From Predictions to Prescriptions in Multistage Optimization Problems

Dimitris Bertsimas, Christopher McCord|arXiv (Cornell University)|Apr 26, 2019

Advanced Bandit Algorithms Research参考文献 14被引用 24

一句话总结

本文提出了一种数据驱动的多阶段优化框架，通过将机器学习预测（使用k-NN、CART和随机森林）整合到决策过程中，以应对不确定性。该方法对k-NN实现了渐近最优性与有限样本保证，通过利用随时间变化的辅助协变量，在动态库存和批量生产问题中实现了最高达15%的成本降低。

ABSTRACT

In this paper, we introduce a framework for solving finite-horizon multistage optimization problems under uncertainty in the presence of auxiliary data. We assume the joint distribution of the uncertain quantities is unknown, but noisy observations, along with observations of auxiliary covariates, are available. We utilize effective predictive methods from machine learning (ML), including $k$-nearest neighbors regression ($k$NN), classification and regression trees (CART), and random forests (RF), to develop specific methods that are applicable to a wide variety of problems. We demonstrate that our solution methods are asymptotically optimal under mild conditions. Additionally, we establish finite sample guarantees for the optimality of our method with $k$NN weight functions. Finally, we demonstrate the practicality of our approach with computational examples. We see a significant decrease in cost by taking into account the auxiliary data in the multistage setting.

研究动机与目标

• 填补多阶段优化中的空白：当不确定性分布未知，但可获得不确定性与辅助协变量的历史数据时。
• 克服传统样本平均近似（SAA）方法的局限性，后者忽略辅助数据并将不确定性视为i.i.d.。
• 开发一个统一框架，将预测性机器学习模型转化为动态、多阶段问题中的可操作决策策略。
• 为所提出的方法建立理论保证——包括渐近最优性与有限样本性能——使用k-NN权重函数。
• 通过库存控制和批量生产问题的计算实验，展示该方法的实际优越性。

提出的方法

• 将多阶段优化问题表述为具有状态、不确定性、决策、成本和转移函数的动态规划问题。
• 使用不确定性与辅助协变量的历史样本，以经验均值替代价值函数中的未知期望。
• 整合预测模型（k-NN、CART、随机森林）以估计给定辅助协变量下不确定性的条件分布。
• 利用机器学习模型导出的权重函数（例如，k-NN核权重）根据协变量相似性为历史场景分配重要性。
• 通过求解一种修改后的SAA问题来构建决策策略，其中每个阶段的场景权重依赖于该阶段的辅助数据。
• 采用基数量策略参数化的近似动态规划，以降低计算复杂度，同时保持解的质量。

实验结果

研究问题

• RQ1 当不确定性分布未知时，预测性机器学习模型能否有效集成到多阶段优化中，以提升决策质量？
• RQ2 与传统SAA方法和静态预测方法相比，利用时变辅助协变量的方法在成本和鲁棒性方面表现如何？
• RQ3 对于使用k-NN权重函数的数据驱动多阶段策略，能够建立哪些理论保证——特别是渐近最优性与有限样本性能？
• RQ4 在动态库存和批量生产问题中，利用多个阶段的辅助数据在多大程度上能降低样本外成本？
• RQ5 该框架能否扩展以处理非凸或非线性成本结构，同时保持计算可处理性？

主要发现

• 在温和正则性条件下，使用k-NN权重函数的方法可实现有限样本最优性保证，为性能提供理论信心。
• 在十二阶段批量生产问题中，k-NN和随机森林权重函数利用时变辅助数据，相比SAA和静态预测方法，样本外成本降低近15%。
• 在每个阶段均整合辅助数据的方法（动态权重函数）显著优于仅使用初始协变量的方法，证明了时间数据整合的价值。
• 在温和条件下，该框架具有渐近最优性，确保随着训练样本数量增加，收敛至真实最优策略。
• 通过基数量策略参数化并减少决策变量数量，即使在大规模问题中，该方法仍保持计算可处理性。
• 实证结果表明，该方法在多个问题实例中均实现一致的成本降低，验证了将辅助数据集成到多阶段决策中所带来的实际影响。