[논문 리뷰] Regress-Later Monte Carlo for optimal control of Markov processes

Alessandro Balata, Jan Palczewski|arXiv (Cornell University)|2017. 12. 27.

Stochastic processes and financial applications참고 문헌 18인용 수 13

한 줄 요약

이 논문은 이산 시간 마르코프 과정의 최적 제어를 위한 두 가지 Regress-Later 몽테카를로 알고리즘—가치 반복과 성능 반복—의 수렴성을 도입하고 증명한다. 동적 프rogramming 식의 조건부 기대값을 기저 함수에 대한 회귀를 통해 추정함으로써 저자들은 성능 반복이 상태에 따라 변하는 제어 및 제약 조건을 더 잘 다룰 수 있는 적응성 덕분에, 계수 추정치의 분산이 더 높음에도 불구하고 더 우수한 제어 정책을 도출함을 보여준다.

ABSTRACT

We develop two Regression Monte Carlo algorithms (value and performance iteration) to solve general problems of optimal stochastic control of discrete-time Markov processes. We formulate our method within an innovative framework that allow us to prove the speed of convergence of our numerical schemes. We rely on the Regress Later approach unlike other attempts which employ the Regress Now technique. We exploit error bounds obtained in our proofs, along with numerical experiments, to investigate differences between the value and performance iteration approaches. Introduced in Tsitsiklis and VanRoy [2001] and Longstaff and Schwartz [2001] respectively, their characteristics have gone largely unnoticed in the literature; we show however that their differences are paramount in practical solution of stochastic control problems. Finally, we provide some guidelines for the tuning of our algorithms.

연구 동기 및 목표

• 마르코프 과정의 최적 스토케스틱 제어에 대한 Regress-Later 몽테카를로의 수학적으로 엄밀한 프레임워크를 개발하기 위해.
• Regress-Later 접근법 하에서 가치 반복 및 성능 반복 계획의 수렴성을 증명하기 위해.
• 통제된 마르코프 과정에서 가치 반복과 성능 반복의 추정 품질 및 실용적 성능를 비교하기 위해.
• 이론적 오차 한계와 수치 실험을 바탕으로 알고리즘의 튜닝을 위한 실용적 지침을 제공하기 위해.

제안 방법

• 미래 가치 함수의 조건부 기대값을 포함하는 동적 프로그래밍 식을 사용하여 최적 제어 문제를 수립한다.
• 미래 가치 함수를 결정성 함수의 기저로 투영하여 조건부 기대값을 추정하기 위해 Regress-Later 기법을 적용한다.
• 몽테카를로 시뮬레이션을 통해 궤적을 생성하고 표본 평균을 통해 회귀 계수를 추정한다.
• 두 가지 계획을 구현한다: 가치 반복은 가치 함수를 반복적으로 갱신하고, 성능 반복은 제어 비용을 포함한 1단계 성능을 최적화한다.
• 조건부 기대값을 표현하기 위해 기저 함수를 사용하여 동적 프로그래밍 재귀의 수치적 근사를 가능하게 한다.
• 수렴 속도 분석 및 두 계획 간 비교를 위해 이론적 오차 한계를 유도한다.

실험 결과

연구 질문

• RQ1 내생적 제어를 갖는 마르코프 과정의 최적 제어에서 Regress-Later 접근법은 어떻게 수렴을 가능하게 하는가?
• RQ2 가치 반복과 성능 반복 계획 간 이론적 수렴 속도 및 추정 품질의 차이는 무엇인가?
• RQ3 성능 반복은 계수 추정의 분산이 더 높음에도 불구하고 왜 더 나은 제어 정책을 도출하는가?
• RQ4 기저 함수의 선택과 학습 측정 방법은 Regress-Later 알고리즘의 정확성에 어떤 영향을 미치는가?
• RQ5 이론적 오차 한계는 알고리즘의 실용적 튜닝을 안내하는 데 사용될 수 있는가?

주요 결과

• 성능 반복은 문을 통과하는 등의 제약 조건이 있는 환경에서 가치 반복보다 훨씬 효과적인 정책을 생성한다.
• 가치 반복 계획은 더 부드러운 회귀 계수 추정치를 보이지만 좁은 통로를 통과할 때 과정을 효율적으로 이끌지 못해 자주 문을 놓친다.
• 성능 반복 정책은 한 번에 두 개 이상의 문을 놓칠 확률이 매우 낮다—3개 이상 놓치는 경우 1% 미만—비해 가치 반복은 높은 확률로 한 개 이상의 문을 놓친다.
• 가치 반복 정책은 자주 한 개 이상의 문을 놓치며, 이는 상당히 낮은 경로 기반 성능로 이어진다.
• 성능 반복에서 추정된 제어 맵은 더 적응력이 있으며, 더 높은 제어 비용을 수반하더라도 제약 조건을 더 효과적으로 통과시키는 데 기여한다.
• Regress-Later 프레임워크 하에서 가치 반복 및 성능 반복 계획의 이론적 수렴성이 증명되었으며, 이는 통제된 마르코프 과정에서 이러한 알고리즘에 대한 새로운 기초를 마련한다.