[論文レビュー] Inexact cuts for Deterministic and Stochastic Dual Dynamic Programming applied to convex nonlinear optimization problems

Vincent Guigues|arXiv (Cornell University)|Jul 4, 2017

Risk and Portfolio Optimization参考文献 18被引用数 3

ひとこと要約

本稿では、部分問題が有界誤差で解かれる凸非線形動的計画問題を解くために、不正確な双対動的プログラミング（IDDP）および不正確な確率的双対動的プログラミング（ISDDP）を提案する。誤差が消える場合に近似解への収束を証明し、DDPおよびSDDPの変種における不正確なカットの使用の理論的基盤を確立する。

ABSTRACT

We introduce an extension of Dual Dynamic Programming (DDP) to solve convex nonlinear dynamic programming equations. We call Inexact DDP (IDDP) this extension which applies to situations where some or all primal and dual subproblems to be solved along the iterations of the method are solved with a bounded error. We show that any accumulation point of the sequence of decisions is an approximate solution to the dynamic programming equations. When these errors tend to zero as the number of iterations goes to infinity, we show that IDDP solves the dynamic programming equations. We extend the analysis to stochastic convex nonlinear dynamic programming equations, introducing Inexact Stochastic Dual Dynamic Programming (ISDDP), an inexact variant of SDDP corresponding to the situation where some or all problems to be solved in the forward and backward passes of SDDP are solved approximately. We also show the almost sure convergence of ISDDP for vanishing errors.

研究の動機と目的

• 非線形問題において部分問題が不正確に解かれる場合に、DDPおよびSDDPの理論的分析の空白を埋める。
• 真の価値関数とカットの間の誤差をある点で有界にする、凸非線形最適化における価値関数のための不正確なカットを開発する。
• ε-最適な双対解が一様に有界となる条件を提供し、カット計算の安定性を可能にする。
• 確率的設定への拡張を行い、誤差が反復に伴い消える条件下で収束保証を有するISDDPを導入する。
• 特に一次問題において、初期段階の反復でより少ない精度で部分問題を解けるようにすることで、DDPおよびSDDPの実用的加速を可能にする。

提案手法

• 凸最適化問題の価値関数 Q(x) に対する不正確なカットを提案し、ε-最適なプライマルおよび双対解から導出する。
• 真の価値関数と不正確なカットの誤差 Q(𝐱̄) − C(𝐱̄) の解析的境界 ε₀ を導出し、ε → 0 のとき ε₀ → 0 となることを保証する。
• 2つの定式化を提供する：x が目的関数にのみ現れる問題（命題 2.2）、および制約を含む一般ケース（命題 2.7–2.8）。
• ε-最適な双対解のノルムに対する境界を導入（命題 3.1）、これは安定性および誤差制御にとって重要である。
• 反復列に沿って εᵏ → 0 となるとき、不正確なカットと真の価値関数との間の距離が、対応する点でゼロに収束することを確立（命題 4.5–4.6）。
• 確率的設定への拡張としてISDDPを導入し、誤差が消える条件下で概収束を証明（定理 5.3）。

実験結果

リサーチクエスチョン

• RQ1 部分問題の不正確な解を許容しても、DDPおよびSDDPが動的計画法の解に収束するように拡張可能か？
• RQ2 プライマルおよび双対解が ε-最適である場合、凸非線形計画問題における価値関数の不正確なカットに対して、どのような誤差境界が導けるか？
• RQ3 ε-最適な双対解が一様に有界となる条件は何か？ これはカット生成における数値的安定性を保証する。
• RQ4 確率的設定において部分問題の誤差が反復に伴い消えるとき、ISDDPは概収束するか？
• RQ5 初期段階の部分問題をより不正確に解き、反復を進めるに従って精度を高める戦略により、DDPおよびSDDPの不正確な変種を実用的に加速可能か？

主な発見

• 真の価値関数と不正確なカットとの間の誤差を明示的に有界にする ε₀ を有する不正確なカットが導出され、部分問題の解の誤差 ε → 0 のとき ε₀ → 0 となる。
• x が目的関数にのみ現れる問題では、追加の仮定の下でより緊密な誤差境界が得られる（命題 2.3 および 2.5）。
• ε-最適な双対解のノルムに対する一様な境界が提供され、不正確なカットが良好に条件付けられていることを保証する（命題 3.1）。
• 反復列に沿って εᵏ → 0 となるとき、対応する点における不正確なカットと真の価値関数との距離はゼロに収束する（命題 4.5 および 4.6）。
• 部分問題の誤差が消えるとき、ISDDPは概収束して最適解に到達するが、カットが不正確に計算されても成立する（定理 5.3）。
• 理論的枠組みは、収束を損なわずに初期反復を低精度で解くなどの実用的加速戦略を支持する。