[논문 리뷰] Inexact cuts for Deterministic and Stochastic Dual Dynamic Programming applied to convex nonlinear optimization problems

Vincent Guigues|arXiv (Cornell University)|2017. 07. 04.

Risk and Portfolio Optimization참고 문헌 18인용 수 3

한 줄 요약

이 논문은 하위 문제의 해에 유한한 오차가 존재하는 볼록 비선형 동적계획문제를 해결하기 위해 비정확 이중동적계획법(IDDP)과 비정확 확률적 이중동적계획법(ISDDP)을 제안한다. 오차가 사라질 때 근사해로 수렴함을 증명하여, DDP 및 SDDP 변형에서 비정확 컷을 사용하는 데 이론적 기반을 확립한다.

ABSTRACT

We introduce an extension of Dual Dynamic Programming (DDP) to solve convex nonlinear dynamic programming equations. We call Inexact DDP (IDDP) this extension which applies to situations where some or all primal and dual subproblems to be solved along the iterations of the method are solved with a bounded error. We show that any accumulation point of the sequence of decisions is an approximate solution to the dynamic programming equations. When these errors tend to zero as the number of iterations goes to infinity, we show that IDDP solves the dynamic programming equations. We extend the analysis to stochastic convex nonlinear dynamic programming equations, introducing Inexact Stochastic Dual Dynamic Programming (ISDDP), an inexact variant of SDDP corresponding to the situation where some or all problems to be solved in the forward and backward passes of SDDP are solved approximately. We also show the almost sure convergence of ISDDP for vanishing errors.

연구 동기 및 목표

• 비선형 문제에서 하위문제를 비정확하게 풀었을 때 DDP 및 SDDP에 대한 이론적 분석의 격차를 메우기.
• 진정한 값 함수와 컷 사이의 오차를 한 점에서 유한하게 제한하는 볼록 비선형 최적화 문제에서의 비정확 컷을 개발하기.
• ε-최적의 이중해가 유계임을 보장하는 조건을 제공하여 안정적인 컷 계산을 가능하게 하기.
• 확률적 환경으로의 분석 확장을 통해 오차가 사라질 때 수렴 보장을 갖는 ISDDP 도입하기.
• 특히 1단계 문제에서 초기 반복에서 덜 정확한 해를 조기에 풀 수 있도록 허용하여 DDP 및 SDDP의 실용적 가속화를 가능하게 하기.

제안 방법

• 볼록 최적화 문제의 값 함수 Q(x)에 대한 비정확 컷을 제안하며, 이는 ε-최적의 원본 및 이중해로부터 유도된다.
• 진정한 값 함수와 비정확 컷 사이의 오차 Q(𝐱̄) − C(𝐱̄)에 대한 분석적 경계 ε₀를 유도하며, ε → 0일 때 ε₀ → 0임을 보장한다.
• 두 가지 형태의 제안: x가 목표함수에만 등장하는 문제에 대한 형태(정리 2.2), 그리고 제약 조건이 있는 일반적인 경우(정리 2.7–2.8).
• ε-최적의 이중해의 노름에 대한 경계를 제안(정리 3.1), 이는 안정성 및 오차 제어에 핵심적이다.
• 반복 수열에서 εᵏ → 0일 때 비정확 컷이 진정한 값 함수로 수렴함을 증명(정리 4.5–4.6).
• 확률적 환경으로의 확장을 위해 ISDDP를 도입하며, 오차가 사라질 때 거의 확실한 수렴성을 증명(정리 5.3).

실험 결과

연구 질문

• RQ1 하위문제의 비정확한 해를 허용하면서도 DDP 및 SDDP가 동적계획법 해로 수렴하도록 확장할 수 있는가?
• RQ2 원본 및 이중해가 ε-최적일 때 볼록 비선형 프로그램에서 값 함수의 비정확 컷에 대해 유도할 수 있는 오차 경계는 무엇인가?
• RQ3 ε-최적의 이중해가 일관되게 유계임을 보장하는 조건은 무엇인가? 이는 컷 생성의 수치적 안정성 보장에 필수적이다.
• RQ4 확률적 환경에서 하위문제 오차가 반복 과정에서 사라질 때 ISDDP는 거의 확실히 수렴하는가?
• RQ5 초기 단계의 하위문제를 덜 정확하게 풀고 시간이 지남에 따라 정밀도를 높임으로써 DDP 및 SDDP의 비정확 변형을 실용적으로 가속화할 수 있는가?

주요 결과

• 비정확 컷은 명시적인 오차 경계 ε₀를 갖는다. 이 경계는 하위문제 해의 오차 ε → 0일 때 사라진다.
• x가 목표함수에만 등장하는 문제에서는 추가 가정 하에 더 날카운 오차 경계를 도출(정리 2.3 및 2.5).
• ε-최적의 이중해의 노름에 대한 균일한 경계를 제공하여, 비정확 컷이 잘 조절된 상태를 유지함을 보장(정리 3.1).
• 반복 수열에서 εᵏ → 0일 때, 비정확 컷과 해당 점에서의 진정한 값 함수 사이의 거리가 0으로 수렴함(정리 4.5 및 4.6).
• 하위문제 오차가 사라질 때 ISDDP는 거의 확실히 최적해로 수렴하며, 이는 컷이 비정확하게 계산되더라도 성립함(정리 5.3).
• 이론적 프레임워크는 초기 반복에서 낮은 정밀도로 계산하는 등의 실용적 가속 전략을 지원하며, 수렴성을 유지한다.