[논문 리뷰] Single cut and multicut SDDP with cut selection for multistage stochastic linear programs: convergence proof and numerical experiments

Vincent Guigues, Michelle Bandarra|arXiv (Cornell University)|2019. 02. 14.

Risk and Portfolio Optimization참고 문헌 34인용 수 10

한 줄 요약

이 논문은 다단계 확률적 선형계획 문제에서 Multicut 분해 알고리즘(MuDA)과 Stochastic Dual Dynamic Programming(SDDP)를 위한 컷 선택 전략인 CuSMuDA를 소개한다. Level 1 및 제한 메모리 Level 1(LML1) 컷 선택을 적용함으로써, 유한 반복 내에서 거의 확실 수렴을 보장하면서도 계산 부담을 줄였다. 수치 실험에서는 포트폴리오 및 재고 문제에서 LML1 전략이 뚜렷한 속도 향상을 보였다.

ABSTRACT

We introduce a variant of Multicut Decomposition Algorithms (MuDA), called CuSMuDA (Cut Selection for Multicut Decomposition Algorithms), for solving multistage stochastic linear programs that incorporates a class of cut selection strategies to choose the most relevant cuts of the approximate recourse functions. This class contains Level 1 and Limited Memory Level 1 cut selection strategies, initially introduced for respectively Stochastic Dual Dynamic Programming (SDDP) and Dual Dynamic Programming (DDP). We prove the almost sure convergence of the method in a finite number of iterations and obtain as a by-product the almost sure convergence in a finite number of iterations of SDDP combined with our class of cut selection strategies. We compare the performance of MuDA, SDDP, and their variants with cut selection (using Level 1 and Limited Memory Level 1) on several instances of a portfolio problem and of an inventory problem. On these experiments, in general, SDDP is quicker (i.e., satisfies the stopping criterion quicker) than MuDA and cut selection allows us to decrease the computational bulk with Limited Memory Level 1 being more efficient (sometimes much more) than Level 1.

연구 동기 및 목표

• 각 반복에서 최적성 컷 수가 증가함에 따라 다중컷 SDDP 및 MuDA의 계산 부담을 완화하기 위해.
• 수렴 보장을 유지하면서 메모리 및 계산을 줄이는 일반적인 컷 선택 전략의 클래스를 개발하기 위해.
• 제안된 컷 선택 프레임워크와 함께 MuDA 및 SDDP의 거의 확실 수렴을 증명하기 위해.
• 실제 다단계 확률적 계획 문제에서 컷 선택 변종—특히 제한 메모리 Level 1—의 성능을 평가하기 위해.
• 컷 선택이 해의 품질을 훼손하지 않으면서도 CPU 시간을 극적으로 줄일 수 있음을 보여주기 위해.

제안 방법

• 가정 (H3)을 만족하는 선택자 기반의 컷 선택 전략 가족을 제안하여 수렴을 보장하기 위해.
• 제안된 컷 선택 클래스와 다중컷 분해 알고리즘을 결합한 CuSMuDA 프레임워크를 도입하기 위해.
• 원래 SDDP 및 DDP에 대해 개발된 Level 1 및 제한 메모리 Level 1(LML1) 컷 선택 전략을 다중컷 환경에 적응시키기 위해.
• 시험 점수를 사용해 컷의 관련성을 평가하고, 각 반복에서 가장 정보성 있는 컷만 선택함으로써 활성 컷 수를 줄이기 위해.
• [16]에서 제시된 결정론적 DDP의 수렴 증명 기법을 확률적 경우로 확장하여 일반적인 컷 선택 규칙에 적용하기 위해.
• LML1에서는 각 시험 점에서 가장 오래된 컷만 유지함으로써 메모리 사용을 최소화하면서도 수렴성을 유지하기 위해 컷 선택을 구현하기 위해.

실험 결과

연구 질문

• RQ1 단일컷 SDDP에서의 컷 선택 전략을 수렴성을 유지하면서 다중컷 분해 알고리즘(MuDA)으로 확장할 수 있는가?
• RQ2 다단계 확률적 계획 문제에서 제한 메모리 Level 1(LML1) 컷 선택 전략이 표준 Level 1보다 계산 효율성이 뛰어나게 되는가?
• RQ3 포트폴리오 및 재고 관리 문제에서 SDDP 및 MuDA의 반복 횟수와 CPU 시간에 컷 선택이 미치는 영향은 무엇인가?
• RQ4 컷 선택이 더 빠른 수렴을 이끌어내는 조건은 무엇이며, 언제 효과가 떨어질 수 있는가?
• RQ5 일반적인 선택자 규칙을 적용한 확률적 환경에서 컷 선택을 통한 SDDP의 수렴을 엄밀히 증명할 수 있는가?

주요 결과

• 제한 메모리 Level 1(LML1) 컷 선택을 적용한 CuSMuDA는 표준 MuDA 대비 CPU 시간을 크게 줄였으며, T=30일 때 56.62분의 런타임을 기록한 데 반해 MuDA는 363.86분이 소요되었다.
• LML1 컷 선택을 적용한 SDDP(SDDP CS 2)는 여섯 개의 재고 문제 인스턴스 중 다섯 개에서 가장 빠른 성능을 보였으며, T=5일 때 0.18분의 런타임을 기록한 데 반해 표준 SDDP는 0.57분이 소요되었다.
• CuSMuDA CS 1(Level 1)는 과도한 컷 유지로 인해 MuDA 및 CuSMuDA CS 2보다 느리며, T=30일 때 최대 575.53분의 CPU 시간이 소요되었다.
• CuSMuDA CS 2(LML1)가 선택한 컷 비율은 모든 단계에서 매우 낮게 유지되었으며(10% 미만), 반면 CuSMuDA CS 1(Level 1)는 훨씬 더 많은 수의 컷을 유지하였다.
• 모든 방법이 일관된 상계 및 하계를 생성하여, 컷 감소에도 불구하고 해의 품질이 유지됨을 확인하였다.
• 제안된 컷 선택 프레임워크와 함께 SDDP 및 MuDA의 수렴이 거의 확실하게 유한 반복 내에서 이루어짐을 증명하였으며, 이는 이전의 결정론적 결과를 확률적 경우로 확장한 것이다.