[论文解读] Inexact cuts for Deterministic and Stochastic Dual Dynamic Programming applied to convex nonlinear optimization problems

Vincent Guigues|arXiv (Cornell University)|Jul 4, 2017

Risk and Portfolio Optimization参考文献 18被引用 3

一句话总结

本文提出了不精确对偶动态规划（IDDP）与不精确随机对偶动态规划（ISDDP），用于求解子问题以有界误差求解的凸非线性动态规划问题。当误差趋于零时，证明了其收敛于近似解，为在 DDP 和 SDDP 变体中使用不精确割线提供了理论基础。

ABSTRACT

We introduce an extension of Dual Dynamic Programming (DDP) to solve convex nonlinear dynamic programming equations. We call Inexact DDP (IDDP) this extension which applies to situations where some or all primal and dual subproblems to be solved along the iterations of the method are solved with a bounded error. We show that any accumulation point of the sequence of decisions is an approximate solution to the dynamic programming equations. When these errors tend to zero as the number of iterations goes to infinity, we show that IDDP solves the dynamic programming equations. We extend the analysis to stochastic convex nonlinear dynamic programming equations, introducing Inexact Stochastic Dual Dynamic Programming (ISDDP), an inexact variant of SDDP corresponding to the situation where some or all problems to be solved in the forward and backward passes of SDDP are solved approximately. We also show the almost sure convergence of ISDDP for vanishing errors.

研究动机与目标

• 填补 DDP 与 SDDP 在子问题求解不精确时的理论分析空白，这在非线性问题中十分常见。
• 为凸非线性优化中值函数的不精确割线提供方法，以界定向量在某一点处的真实值函数与割线之间的误差。
• 提供 ε-最优对偶解保持有界的条件，从而实现割线计算的稳定性。
• 将分析扩展至随机设置，提出 ISDDP，并在误差趋于零时提供收敛性保证。
• 通过允许在早期迭代中采用更早、精度较低的解法，特别是针对第一阶段问题，实现 DDP 与 SDDP 的实际加速。

提出的方法

• 提出一种基于 ε-最优原始与对偶解的凸优化问题值函数 Q(x) 的不精确割线。
• 推导出真实值函数与不精确割线之间误差 Q(𝐱̄) − C(𝐱̄) 的解析界 ε₀，确保当 ε → 0 时 ε₀ → 0。
• 提供两种公式：一种适用于 x 仅出现在目标函数中的问题（命题 2.2），另一种为含约束的一般情况（命题 2.7–2.8）。
• 引入对 ε-最优对偶解范数的界（命题 3.1），这对稳定性与误差控制至关重要。
• 在迭代序列中 εᵏ → 0 的条件下，建立不精确割线收敛于真实值函数的结论（命题 4.5–4.6）。
• 通过 ISDDP 将框架扩展至随机设置，证明在误差趋于零时几乎必然收敛（定理 5.3）。

实验结果

研究问题

• RQ1 DDP 与 SDDP 能否被扩展以处理子问题的不精确解，同时保持收敛于动态规划解？
• RQ2 当原始与对偶解为 ε-最优时，能否为凸非线性规划中值函数的不精确割线推导出误差界？
• RQ3 在何种条件下，ε-最优对偶解保持一致有界，从而确保割线生成的数值稳定性？
• RQ4 在随机设置中，当子问题误差随迭代过程趋于零时，ISDDP 是否几乎必然收敛？
• RQ5 能否通过在早期阶段以较低精度求解子问题并随时间提高精度，实现 DDP 与 SDDP 不精确变体的实际加速？

主要发现

• 推导出具有显式误差界 ε₀ 的值函数不精确割线，且当子问题解误差 ε → 0 时，ε₀ 趋于零。
• 对于 x 仅出现在目标函数中的问题，在附加假设下可获得更紧的误差界（命题 2.3 与 2.5）。
• 提供了对 ε-最优对偶解范数的统一有界性，确保不精确割线保持良好条件（命题 3.1）。
• 当在迭代序列中 εᵏ → 0 时，不精确割线与真实值函数在对应点处的距离收敛于零（命题 4.5 与 4.6）。
• 当子问题误差趋于零时，即使割线计算不精确，ISDDP 也几乎必然收敛于最优解（定理 5.3）。
• 理论框架支持实际加速策略，例如在早期迭代中以较低精度求解，而不会影响收敛性。