[논문 리뷰] Regress-Later Monte Carlo for Optimal Inventory Control with applications in energy

Alessandro Balata, Jan Palczewski|arXiv (Cornell University)|2017. 03. 19.

Stochastic processes and financial applications참고 문헌 21인용 수 9

한 줄 요약

이 논문은 에너지 시스템에서 최적의 재고 제어를 위한 Regress-Later Monte Carlo (RLMC) 방법을 제안하며, 시간 단계 간 재고 수준을 분리하고 재고 의존성을 회귀 기저 함수에 통합한다. 이 방법은 중첩 시뮬레이션 없이도 효율적인 정책 반복을 가능하게 하여, 배터리 보조 풍력 에너지 관리와 같은 고차원 문제에서 격자 이산화 및 제어 랜덤화보다 뛰어난 성능을 발휘한다.

ABSTRACT

We develop a Monte-Carlo based numerical method for solving discrete-time stochastic optimal control problems with inventory. These are optimal control problems in which the control affects only a deterministically evolving inventory process on a compact state space while the random underlying process manifests itself through the objective functional. We propose a Regress Later modification of the traditional Regression Monte Carlo which allows to decouple inventory levels in two successive time steps and to include in the basis functions of the regression the dependence on the inventory levels. We develop a backward construction of trajectories for the inventory which enables us to use policy iteration of Longstaff-Schwartz type avoiding nested simulations. Our algorithm improves on the grid discretisation procedure largely used in literature and practice, and on the recently proposed control randomisation by [Kharroubi et al. (2014) Monte Carlo Methods and Applications, 20(2), pp. 145-165]. We validate our approach on three numerical examples: a benchmark problem of energy arbitrage used to compare different methods available in literature; a multi-dimensional problem of control of two connected water reservoirs; and a high-dimensional problem of the management of a battery with the purpose of assisting the operations of a wind turbine in providing electricity to a group of buildings in a cost effective way.

연구 동기 및 목표

• 고차원 재고 제어 문제에서 전통적인 격자 기반 회귀 몽테카를로의 계산 비효율성을 해결한다.
• 각 재고 수준마다 별도의 회귀가 필요한 기존 방법의 한계를 극복하거나 연속 제어 공간에서 어려움을 겪는 문제를 해결한다.
• 재고 궤적을 분리함으로써 중첩 시뮬레이션을 피하는 후방 동적 프rogramming 알고리즘을 개발한다.
• 현실적인 제약 조건을 고려한 복잡한 고차원 에너지 아비트라주 및 저장 관리 문제를 효과적으로 해결할 수 있도록 한다.
• 실제 응용에서 사용되는 히وري스틱 또는 완전한 전망 정책의 확장 가능한 대안을 제공한다.

제안 방법

• 재고 진동을 시간 단계 간에 분리함으로써 RLMC 프레임워크를 재고 제어 문제에 적응시킨다. 이는 독립적인 후방 재귀를 가능하게 한다.
• 값 함수 추정 시 경로 재시뮬레이션 없이도 정책 반복을 지원하는 재고 과정의 후방 궤적을 구성한다.
• 재고 수준에 명시적인 의존성을 포함한 기저 함수를 사용하여 격자 이산화 없이도 재고 상태 간의 보간을 가능하게 한다.
• 각 단계에서 궤적 재계산을 방지하기 위해 고정점 반복을 통해 성능 반복을 구현함으로써 계산 비용을 감소시킨다.
• 외생 상태 변수와 재고 수준을 회귀자로 사용하여 계속 가치를 추정하기 위해 회귀를 수행한다.
• 각 시간 단계에서 회귀 표면에 기반하여 이원 제약 최적화 문제를 해결함으로써 최적 제어를 결정한다.

실험 결과

연구 질문

• RQ1 재고가 결정적으로 변화하고 외생 과정이 랜덤인 상황에서 Regress-Later Monte Carlo를 재고 제어 문제에 적응시킬 수 있는가?
• RQ2 제안된 방법은 격자 기반 회귀 몽테카를로 및 제어 랜덤화와 비교해 정확성과 계산 효율성 측면에서 어떻게 성능을 발휘하는가?
• RQ3 이 방법은 풍력 에너지 시스템과 같은 고차원 재고 제어 문제를 효과적으로 해결할 수 있는가?
• RQ4 간헐적인 발전과 변동 가격을 가진 실세계 에너지 시스템에서 최적의 저장 제어의 경제적 가치는 무엇인가?
• RQ5 후방 재귀에서 재고 궤적을 분리함으로써 중첩 시뮬레이션의 필요성을 제거하면서도 해의 품질을 유지할 수 있는가?

주요 결과

• RLMC 방법은 각 재고 이산화 지점에서 별도의 회귀가 필요 없기 때문에 격자 기반 회귀 몽테카를로보다 뚜렷이 뛰어난 성능을 발휘한다.
• 배터리를 사용한 풍력 에너지 아비트라주에서 이중 주간 기준으로 중앙값 수익과 75번째 백분위수 수익이 각각 4000달러씩 증가한다. 이는 저장 시스템이 없는 시스템과 비교한 결과이다.
• 추정된 정책은 25번째 백분위수에서 수익을 3595에서 7556으로, 75번째 백분위수에서는 5498에서 9598로 증가시켜 상당한 경제적 이점을 보여준다.
• 단지 5000개의 시뮬레이션 궤적만으로도 알고리즘이 안정적이고 정확하며, 재고 및 외생 변수에 대해 선형 및 이차 항을 포함한 기저 함수가 만족스러운 결과를 도출한다.
• 배터리의 추정 수명은 약 6년(320주)으로, 4000회 완전 사이클을 가정하여 장기적인 경제적 타당성을 뒷받침한다.
• 이 방법은 풍력 발전, 수요, 가격 및 배터리 재고를 포함한 고차원 문제를 효율적으로 해결할 수 있으며, 저차원 벤치마크를 초월한 확장성을 입증한다.