[논문 리뷰] Foundations of Multistage Stochastic Programming

Paul Dommel, Alois Pichler|arXiv (Cornell University)|2021. 02. 15.

Risk and Portfolio Optimization참고 문헌 28인용 수 9

한 줄 요약

이 논문은 확률적 제어를 통해 가측 값 과정을 도입하여 다단계 확률적 최적화의 엄밀한 수학적 기반을 구축한다. 콜모고로프 연속성 정리를 활용해 중간 값 함수의 가측성 존재성을 증명함으로써, 동적 프로그래밍, 강화 학습, 확률적 이중 동적 프로그래밍의 수학적 엄밀성 있는 분석이 가능해진다.

ABSTRACT

Multistage stochastic optimization problems are oftentimes formulated informally in a pathwise way. These are correct in a discrete setting and suitable when addressing computational challenges, for example. But the pathwise problem statement does not allow an analysis with mathematical rigor and is therefore not appropriate. This paper addresses the foundations. We provide a novel formulation of multistage stochastic optimization problems by involving adequate stochastic processes as control. The fundamental contribution is a proof that there exist measurable versions of intermediate value functions. Our proof builds on the Kolmogorov continuity theorem. A verification theorem is given in addition, and it is demonstrated that all traditional problem specifications can be stated in the novel setting with mathematical rigor. Further, we provide dynamic equations for the general problem, which is developed for various problem classes. The problem classes covered here include Markov decision processes, reinforcement learning and stochastic dual dynamic programming.

연구 동기 및 목표

• 다단계 확률적 최적화 문제의 경로 기반 서술 방식에 대한 수학적 엄밀성의 부족을 해결하기 위해.
• 특히 확률이 0인 사건에 조건부로 설정할 때 중간 값 함수의 가측성 문제를 해결하기 위해.
• 동적 프로그래밍, 강화 학습, SDDP를 지원하는 일반적이고 가측 가능한 최적화 프레임워크를 제공하기 위해.
• 마팅게일 특성과 검증 정리를 활용해 정책의 최적성 검증을 수행하기 위해.
• 기존의 MDP, SDDP, 벨먼 원리 등의 전통적 문제 유형들을 하나의 엄밀한 확률 과정 프레임워크 안에서 통합하고 형식화하기 위해.

제안 방법

• 경로 기반 서술을 가측적 구조로 대체함으로써, 제어로 확률 과정을 사용하여 다단계 확률적 최적화를 수식화한다.
• 콜모고로프 연속성 정리를 적용하여 중간 값 함수의 가측적 버전 존재성을 증명한다.
• 시간에 따라 최적 비용을 추적하는 값 과정을 도입하여, 조건부 기대와 이민의 가측성을 보장한다.
• 일반적인 비 마코프 설정에서 동적 방정식을 유도하여 순환적 해법 전략을 가능하게 한다.
• $\omega$-by-$\omega$ 경로 기반 분석을 피하기 위해, 가측적인 방식으로 조건부 이민과 조건부 기대를 활용한다.
• 마팅게일 특성으로 구성된 검증 정리를 도입하여 후보 최적 정책의 최적성을 검증한다.

실험 결과

연구 질문

• RQ1 다단계 확률적 최적화에서 중간 값 함수는 가측적 확률 과정으로 엄밀하게 정의될 수 있는가?
• RQ2 실제로 널리 사용되지만 수학적으로 정의되지 않은 경로 기반 서술 방식은 어떻게 엄밀한 수학적 엄밀성으로 재구성될 수 있는가?
• RQ3 일반적인 비 마코프 설정에서 가측적 값 과정의 존재성을 보장하는 조건은 무엇인가?
• RQ4 기존의 문제 유형들인 MDP, SDDP, 강화 학습은 이 새로운 가측적 프레임워크에 어떻게 통합될 수 있는가?
• RQ5 이 형식론에서 해의 최적성을 확인하기 위해 검증 정리와 마팅게일 특성을 도출할 수 있는가?

주요 결과

• 논문은 콜모고로프 연속성 정리를 활용해 중간 값 함수의 가측적 버전 존재성을 증명함으로써, 다단계 확률적 최적화의 기초적 격차를 해결한다.
• 모든 기존 문제 서술 방식—마코프 결정 과정, 강화 학습, 확률적 이중 동적 프로그래밍—이 새로운 가측적 프레임워크 내에 포함될 수 있다.
• 일반적인 비 마코프 문제에 대해 동적 방정식이 도출되어 순환적 해법 전략이 가능해진다.
• 검증 정리가 확립되어 최적 정책이 마팅게일 조건으로 특성화된다.
• 유계 비용과 할인률 $\gamma \in (-1,1)$을 갖는 무한 시간 문제에서, 컴acts 및 연속성 가정 하에 값 함수가 연속임을 보였다.
• 시간에 동일한 문제에서 이_IDENTICAL_소음을 갖는 경우, 값 함수는 고정점 방정식을 만족하며, 반코프의 고정점 정리에 의해 해의 존재성과 유일성이 보장된다.