[논문 리뷰] Stochastic Dual Dynamic Programming for Multistage Stochastic Mixed-Integer Nonlinear Optimization

Shixuan Zhang, Xu Andy Sun|arXiv (Cornell University)|2019. 12. 31.

Risk and Portfolio Optimization인용 수 4

한 줄 요약

이 논문은 비볼록, 비연속 또는 리프시츠 조건을 만족하지 않는 가치 함수를 처리하기 위해 일반화된 쌍대성 기반 컷을 사용하는 다단계 확률적 혼합정수비선형계획문제(MS-MINLP)를 위한 새로운 확률적 이중동적계획(SDDP) 프레임워크를 제안한다. 이는 이러한 문제에 대해 처음으로 반복 복잡도 한계를 확립하며, 단계 수와 상태공간 차원에 대해 다항식적 의존성을 보이며, 샤피르 암드가 제기한 SDDP 확장성에 대한 추측을 해결한다.

ABSTRACT

In this paper, we study multistage stochastic mixed-integer nonlinear programs (MS-MINLP). This general class of problems encompasses, as important special cases, multistage stochastic convex optimization with non-Lipschitzian value functions and multistage stochastic mixed-integer linear optimization. We develop stochastic dual dynamic programming (SDDP) type algorithms with nested decomposition, deterministic sampling, and stochastic sampling. The key ingredient is a new type of cuts based on generalized conjugacy. Several interesting classes of MS-MINLP are identified, where the new algorithms are guaranteed to obtain the global optimum without the assumption of complete recourse. This significantly generalizes the classic SDDP algorithms. We also characterize the iteration complexity of the proposed algorithms. In particular, for a $(T+1)$-stage stochastic MINLP with $d$-dimensional state spaces, to obtain an $ε$-optimal root node solution, we prove that the number of iterations of the proposed deterministic sampling algorithm is upper bounded by $\mathcal{O}((\frac{2T}ε)^d)$, and is lower bounded by $\mathcal{O}((\frac{T}{4ε})^d)$ for the general case or by $\mathcal{O}((\frac{T}{8ε})^{d/2-1})$ for the convex case. This shows that the obtained complexity bounds are rather sharp. It also reveals that the iteration complexity depends polynomially on the number of stages. We further show that the iteration complexity depends linearly on $T$, if all the state spaces are finite sets, or if we seek a $(Tε)$-optimal solution when the state spaces are infinite sets, i.e. allowing the optimality gap to scale with $T$. To the best of our knowledge, this is the first work that reports global optimization algorithms as well as iteration complexity results for solving such a large class of multistage stochastic programs.

연구 동기 및 목표

• 비볼금, 비연속 또는 리프시츠 조건을 만족하지 않는 가치 함수를 갖는 다단계 확률적 혼합정수비선형계획문제(MS-MINLP)를 위한 통합 SDDP 유형 알고리즘을 개발한다.
• 기존 SDDP 방법에서 비볼금 가치 함수의 정확한 하한 근사화를 위한 일반적인 컷 평면 기법의 부재를 극복한다.
• MS-MINLP에서 SDDP 유형 알고리즘의 날카운 반복 복잡도 한계를 확립하며, 단계 수, 상태공간 차원 및 최적성 갭에 대한 의존성을 명확히 한다.
• 다단계 확률적 혼합정수계획 최적화에서 SDDP의 다항식 확장성에 대한 장기적인 추측을 해결한다 — 샤피르 암드 교수가 제기한 것.

제안 방법

• 정규화된 하위문제에서 비볼금 비용-도달 함수를 근사하기 위해 일반화된 쌍대성 기반의 새로운 컷 클래스를 도입한다.
• 원래 MS-MINLP의 타당성과 최적성 유지와 함께 정확한 페널티를 보장하기 위해 가치 함수에 정규화를 적용한다.
• 세 가지 알고리즘 — 결정론적 중첩 벤더스 변형, 결정론적 샘플링 SDDP, 확률적 샘플링 SDDP — 을 통합된 프레임워크 내에서 개발한다.
• 후방 패assing 오라클을 통해 정규화된 노드 문제를 이용해, 가치 함수가 리프시츠 조건을 만족하지 않거나 비연속일 경우에도 가치 함수를 정확히 하한 근사하는 컷을 생성한다.
• 사전에 정해진 매개변수를 사용한 페널티 재구성 방식을 도입하여 정확한 페널티를 보장하고 해의 품질을 유지한다.
• 특정 문제 클래스에서 리프시츠 연속성과 볼록성의 성질을 활용하여 컷 근사 품질의 기하학적 분석을 통해 복잡도 한계를 유도한다.

실험 결과

연구 질문

• RQ1 SDDP는 비볼금, 비연속 또는 리프시츠 조건을 만족하지 않는 가치 함수를 갖는 다단계 확률적 혼합정수비선형계획문제를 다룰 수 있는가?
• RQ2 SDDP 유형 알고리즘의 반복 복잡도는 MS-MINLP에서 어떻게 단계 수와 상태공간 차원에 따라 변화하는가?
• RQ3 MS-MINLP에서 반복 복잡도는 단계 수에 대해 다항식적일까, 지수적일까? 특히 볼록 경우에 대해 어떻게 되는가?
• RQ4 완전 복구 조건이 없는 문제에 대해서도 SDDP 프레임워크를 확장할 수 있으며, 이 경우에도 전역 수렴을 보장할 수 있는가?
• RQ5 MS-MINLP에서 SDDP의 반복 복잡도에 대해 날카운 하한 및 상한을 확립할 수 있으며, 이는 암드의 추측을 해결하는가?

주요 결과

• 제안된 결정론적 샘플링 SDDP 알고리즘은 $d$ 차원 상태공간을 갖는 $(T+1)$-단계 MS-MINLP에 대해 상한 반복 복잡도 $\mathcal{O}\left(\left(\frac{2T}{\varepsilon}\right)^d\right)$ 를 갖는다.
• 일반적인 경우에 대해 하한 $\mathcal{O}\left(\left(\frac{T}{4\varepsilon}\right)^d\right)$ 와 볼록 경우에 대해 $\mathcal{O}\left(\left(\frac{T}{8\varepsilon}\right)^{d/2-1}\right)$ 이 확립되며, 이는 복잡도 한계가 날카롭다는 것을 보여준다.
• 유한한 상태공간을 갖는 문제이거나 최적성 갭이 $T$에 대해 선형적으로 증가하는 경우, 반복 복잡도는 $T$에 대해 다항식적 의존성이 아니라 선형적으로 의존한다.
• 비리프시츠 조건을 만족하는 가치 함수를 갖는 문제를 포함한 광범위한 MS-MINLP 클래스에 대해 최적해로의 전역 수렴을 보장한다. 완전 복구 조건이 필요하지 않다.
• 복잡도 분석을 통해 SDDP 유형 알고리즘이 단계 수에 대해 다항식적으로 확장됨을 확인하였으며, 다단계 확률적 최적화의 확장성에 대한 암드의 추측을 해결한다.
• 일반화된 쌍대성 컷의 사용은 비볼금 및 비미분 가능 환경에서도 가치 함수의 정확한 하한 근사를 가능하게 하여 전역 최적화를 실현한다.