[论文解读] The Parametric Cost Function Approximation: A new approach for multistage stochastic programming

Warren B. Powell, Saeed Ghadimi|arXiv (Cornell University)|Jan 1, 2022

Risk and Portfolio Optimization被引用 7

一句话总结

本文提出参数化成本函数近似（PCFA）作为一种新颖且计算高效的多阶段随机规划方法，通过使用参数化确定性前瞻模型来近似未来不确定性。结果表明，通过仿真-优化方法调节这些参数，可使策略性能相比基线确定性模型提升20%–50%，且无需增加实际运行时的计算成本。

ABSTRACT

The most common approaches for solving multistage stochastic programming problems in the research literature have been to either use value functions ("dynamic programming") or scenario trees ("stochastic programming") to approximate the impact of a decision now on the future. By contrast, common industry practice is to use a deterministic approximation of the future which is easier to understand and solve, but which is criticized for ignoring uncertainty. We show that a parameterized version of a deterministic optimization model can be an effective way of handling uncertainty without the complexity of either stochastic programming or dynamic programming. We present the idea of a parameterized deterministic optimization model, and in particular a deterministic lookahead model, as a powerful strategy for many complex stochastic decision problems. This approach can handle complex, high-dimensional state variables, and avoids the usual approximations associated with scenario trees or value function approximations. Instead, it introduces the offline challenge of designing and tuning the parameterization. We illustrate the idea by using a series of application settings, and demonstrate its use in a nonstationary energy storage problem with rolling forecasts.

研究动机与目标

• 解决传统随机规划与动态规划在多阶段随机问题中面临的计算复杂性与实际应用限制。
• 论证参数化确定性优化模型——工业界常用方法——是复杂随机或动态规划方法的合理且有效的替代方案。
• 将参数化成本函数近似（PCFA）的形式化为一种利用仿真与参数调节的随机优化框架。
• 展示PCFA在处理高维、时变状态变量及复杂约束（如滚动预测下的储能系统）方面的有效性。
• 鼓励研究社区认可并采纳参数化确定性模型作为随机优化中的合法策略，尤其是在大规模运筹问题中。

提出的方法

• 提出一种参数化确定性前瞻模型，其中关键预测输入通过可调参数（如θ）进行缩放，以反映未来估计中的不确定性。
• 采用仿真-优化框架，利用问题的随机基准模型对确定性模型的参数（θ）进行调优。
• 应用SPSA（同时扰动随机逼近）算法，在噪声环境中实现高效、多维参数调优。
• 使用仿真器在随机场景下评估策略性能，实现稳健的参数估计，而无需显式构建场景树或价值函数近似。
• 将参数化策略视为随机优化问题，目标是最小化未来多种实现下的期望成本。
• 证明所得到的策略具有平稳性（时间无关性），尽管滚动预测具有时变特性，从而简化了调优过程。

实验结果

研究问题

• RQ1 参数化确定性优化模型能否作为多阶段随机规划问题的有效且可扩展的策略？
• RQ2 在随机环境中，经调优的参数化成本函数近似与基线确定性模型相比，性能如何？
• RQ3 通过仿真-优化进行参数调优，能在不增加现场计算成本的前提下，将策略性能提升多少？
• RQ4 PCFA能否有效捕捉储能系统中复杂的高维状态变量（如滚动预测）？
• RQ5 从启发式工业实践向严谨设计与调优的参数化策略转型，面临哪些挑战与机遇？

主要发现

• 在具有滚动预测的非平稳储能问题中，PCFA方法相比基线确定性策略（θ=1）实现了20%–50%的性能提升。
• 性能提升未带来现场部署时计算成本的增加，因为策略仍为确定性优化模型。
• 该方法成功处理了复杂且高维的状态变量（如时变滚动预测），而传统随机或动态规划方法难以建模此类变量。
• 即使在非凸目标函数和噪声仿真输出下，参数调优过程依然有效，证明了SPSA算法的鲁棒性。
• 所得策略具有平稳性——仅依赖于参数向量θ，与时间无关，从而简化了优化与部署流程。
• 本研究指出，工业界使用的参数化确定性模型并非仅是启发式方法，当经过恰当调优后，其本质上与随机优化原理一致。