[논문 리뷰] Neural Stochastic Dual Dynamic Programming

Hanjun Dai, Yuan Xue외 3명|arXiv (Cornell University)|2021. 12. 01.

Reinforcement Learning in Robotics참고 문헌 51인용 수 9

한 줄 요약

이 논문은 신경망을 사용해 문제 인스턴스를 저차원의 조각별 선형 가치 함수 근사로 매핑하는 메타학습 프레임워크인 신경 스토하스틱 듀얼 동적 프ogramming(ν-SDDP)을 제안한다. 이는 더 빠르고 효율적인 SDDP 최적화를 가능하게 한다. 과거 문제 인스턴스로부터 학습함으로써 ν-SDDP는 해의 질을 훼손하지 않으면서도, 특히 고차원 및 장기 예측 스위치 최적화 문제에서 해의 시간을 수개월 수준으로 줄인다.

ABSTRACT

Stochastic dual dynamic programming (SDDP) is a state-of-the-art method for solving multi-stage stochastic optimization, widely used for modeling real-world process optimization tasks. Unfortunately, SDDP has a worst-case complexity that scales exponentially in the number of decision variables, which severely limits applicability to only low dimensional problems. To overcome this limitation, we extend SDDP by introducing a trainable neural model that learns to map problem instances to a piece-wise linear value function within intrinsic low-dimension space, which is architected specifically to interact with a base SDDP solver, so that can accelerate optimization performance on new instances. The proposed Neural Stochastic Dual Dynamic Programming ($ν$-SDDP) continually self-improves by solving successive problems. An empirical investigation demonstrates that $ν$-SDDP can significantly reduce problem solving cost without sacrificing solution quality over competitors such as SDDP and reinforcement learning algorithms, across a range of synthetic and real-world process optimization problems.

연구 동기 및 목표

• 결정 변수의 수가 증가함에 따라 성능이 급격히 떨어지는 스토하스틱 듀얼 동적 프로그래밍(SDDP)의 차원의 극복 문제를 해결하기 위해.
• 기존 SDDP 방법들이 각 문제 인스턴스를 독립적으로 다루며, 해결 후 유용한 경험을 기록하지 못하는 한계를 극복하기 위해.
• 과거 문제 해결 경험을 활용해 향후 최적화를 가속화하는 학습 가능한, 자가 향상 가능한 프레임워크를 개발하기 위해.
• 내재된 저차원 공간으로의 신경망 투영을 통해 SDDP의 효율적이고 저비용의 가치 함수 초기화를 가능하게 하기 위해.
• 학습된 가치 함수를 표준 SDDP 솔버에 원활하게 통합하여 추가 정밀화 및 시간-품질 균형 개선을 가능하게 하기 위해.

제안 방법

• 특수하게 설계된 신경망 아키텍처가 결정 공간의 문제별 저차원 투영을 학습하여 차원의 극복 문제를 완화한다.
• 신경 모델은 투영된 공간에서 최적의 비용-다음 함수(가치 함수)의 조각별 앫함수 근사를 출력하며, SDDP의 컷팅 평면 프레임워크와 호환된다.
• 표준 SDDP로 문제 인스턴스를 해결하여 생성된 최적의 가치 함수 및 동작 시퀀스를 사용해 지도 학습 방식으로 네트워크를 훈련시킨다.
• 훈련 데이터는 SDDP 반복 과정에서 생성되며, 최종 SDDP 해의 컷팅 평면을 감독으로 사용하여 고품질의 가치 함수 근사 보장을 한다.
• 빠른 추론(ν-SDDP-fast)과 고정밀도 정밀화(ν-SDDP-accurate)를 모두 지원하며, 후자는 SDDP에 통합되어 추가 반복을 수행한다.
• 프레임워크는 분산 계산을 가능하게 하며, 한 번 훈련된 후에는 새로운 문제 인스턴스가 신경망 초기화를 통해 신속히 해결되며, SDDP 정밀화를 통해 향후 개선이 가능하다.

실험 결과

연구 질문

• RQ1 신경망은 유사한 다단계 스토하스틱 최적화 문제 간의 일반화를 학습하여 SDDP 해법을 가속화할 수 있는가?
• RQ2 결정 공간의 저차원 투영을 학습하는 것이 고차원 문제에서 SDDP 성능에 어떤 영향을 미치는가?
• RQ3 학습된 가치 함수 초기화가 고품질 해에 도달하기 위해 필요한 SDDP 반복 수를 크게 줄일 수 있는가?
• RQ4 모델 용량(예: 생성된 컷팅 평면의 수)이 신경 가치 함수 근사 성능에 어떤 영향을 미치는가?
• RQ5 해의 품질과 런타임 균형 측면에서 ν-SDDP는 SDDP, SDDP-mean, 강화학습 기반 베이스라인과 비교해 어떻게 성능을 내는가?

주요 결과

• ν-SDDP-fast는 SDDP-mean과 유사한 해의 품질을 보이지만, 약 1회의 SDDP 전진 패assing 시간 내에 달성하여 런타임을 크게 줄였다.
• 대규모 문제에서는 SDDP가 ν-SDDP-fast의 해의 품질에 도달하기 위해 1~2개의 주기 더 많은 런타임이 소요된다.
• SDDP에 ν-SDDP-accurate를 단 10회의 추가 반복으로 통합함으로써, SDDP가 많은 반복 후에 달성하는 것보다 뛰어난 해의 품질을 확보할 수 있었다.
• 고분산 성격의 합성 및 실세계 문제에서 ν-SDDP는 최적의 보유 전략을 재발견하여, SDDP-optimal 및 SDDP-mean보다 오차 비율에서 뛰어난 성능을 보였다.
• 대규모 문제에서 컷팅 평면 수가 64를 초과하면, 초기 단계의 저품질 SDDP 컷팅 평면으로 인한 노이즈 감독으로 인해 성능이 저하되었다.
• 저랭크 투영을 사용할 경우, 내재 차원이 80 이하일 때 SDDP-mean보다 훨씬 뛰어난 성능을 보였으며, 310차원 문제에서도 동일한 결과를 얻었다.