[논문 리뷰] Instantaneous Control of Brownian Motion with a Positive Lead Time

Zhen Xu, Jiheng Zhang외 1명|arXiv (Cornell University)|2016. 08. 04.

Stochastic processes and financial applications참고 문헌 16인용 수 3

한 줄 요약

이 논문은 상향 조정에 양의 리드 타임을 가진 브라운 운동의 즉각적 제어를 위한 새로운 프레임워크를 제안하며, 기능 공간으로의 $L^{ atural}$-볼록성의 확장을 통해 최적 정책이 상태에 따라 결정되는 양방향 반사임을 증명한다. 이 정책은 재고를 일정 범위 내에 유지하기 위해 최소한의 조정을 수행하며, 기능 상태 공간을 가진 확률적 제어 문제에서 오랫동안 남아있던 과제를 해결한다.

ABSTRACT

Consider a storage system where the content is driven by a Brownian motion absent control. At any time, one may increase or decrease the content at a cost proportional to the amount of adjustment. A decrease of the content takes effect immediately, while an increase is realized after a fixed lead time $\lt$. Holding costs are incurred continuously over time and are a convex function of the content. The objective is to find a control policy that minimizes the expected present value of the total costs. Due to the positive lead time for upward adjustments, one needs to keep track of all the outstanding upward adjustments as well as the actual content at time $t$ as there may also be downward adjustments during $[t,t+\lt)$, i.e., the state of the system is a function on $[0,\ell]$. To the best of our knowledge, this is the first paper to study instantaneous control of stochastic systems in such a functional setting. We first extend the concept of $L^ atural$-convexity to function spaces and establish the $L^ atural$-convexity of the optimal cost function. We then derive various properties of the cost function and identify the structure of the optimal policy as a state-dependent two-sided reflection mapping making the minimum amount of adjustment necessary to keep the system states within a certain region.

연구 동기 및 목표

• 상향 조정에 양의 리드 타임이 존재하지만 하향 조정은 즉각적인 브라운 저장 시스템에서의 최적 제어 과제를 해결하기 위해.
• 유한 차원 공간에서의 $L^{ atural}$-볼록성 개념을 기능 공간으로 확장하여 무한 차원 상태를 가진 시스템의 분석을 가능하게 하기 위해.
• 최적 제어 정책이 상태에 따라 결정되는 이원 반사임을 규명하여, 비용이 많이 드는 영역으로의 진입을 방지하기 위해 최소한의 조정을 수행함을 설명하기 위해.
• 기존 방법의 한계를 극복하기 위해, 기능 상태 공간을 가진 확률적 제어 문제를 해결하기 위한 엄밀한 수학적 프레임워크를 구축하기 위해.

제안 방법

• 주기적 검토 시스템에서의 비용의 극한으로 최적 비용 함수가 $L^{ atural}$-볼록성을 기능 공간으로 확장함을 보여줌.
• 조정 시점과 크기의 최적성 조건에 기반한 히우리스틱한 힘-자코비-벨만(HJB) 방정식 유도.
• $L^{ atural}$-볼록성을 이용해 상태 공간 내에서 상향 또는 하향 조정이 필요한 두 개의 별개 영역 식별.
• 시스템 상태가 안전 영역 내에 유지되도록 최소한의 필요 조정을 수행하는 상태에 따라 결정되는 이원 반사 정책 구축.
• 단조성, 리프시츠 연속성 및 보완성 등의 핵심 성질을 증명함으로써 정책의 최적성을 입증함.
• 비대칭 리드 타임을 가진 일반적인 경우를 하향 리드 타임이 0인 등가 문제로 변환하여 복잡도를 감소시킴.

실험 결과

연구 질문

• RQ1 무한 차원 상태를 가진 확률적 제어 문제 분석을 위해 $L^{ atural}$-볼록성을 기능 공간으로 어떻게 확장할 수 있는가?
• RQ2 상향 조정에 양의 리드 타임이 있고 하향 조정은 즉각적인 경우 최적 제어 정책의 구조는 어떻게 되는가?
• RQ3 이러한 리드 타임 비대칭성이 존재하는 기능 상태 공간 설정에서 이원 반사 정책이 최적임을 증명할 수 있는가?
• RQ4 지연된 제어가 있는 브라운 운동의 맥락에서 $L^{ atural}$-볼록성에 기반한 최적 비용 함수는 어떻게 행동하는가?
• RQ5 상향 및 하향 조정에 모두 양의 리드 타임이 존재하는 일반적인 경우는 한 방향의 리드 타임이 0인 더 단순한 문제로 환원될 수 있는가?

주요 결과

• 최적 비용 함수는 시스템 상태의 기능 공간에서 $L^{ atural}$-볼록성임이 입증되어 최적 정책의 구조적 분석이 가능하다.
• 최적 제어 정책은 상태에 따라 결정되는 이원 반사이며, 시스템 상태가 유한한 영역 내에 유지되도록 최소한의 조정을 수행한다.
• 이 정책의 최적성은 $L^{ atural}$-볼록성에서 유도된 단조성, 리프시츠 연속성 및 보완성 성질의 조합 덕분이다.
• 비대칭 리드 타임을 가진 문제는 하향 리드 타임이 0인 등가 문제로 변환될 수 있으며, 이는 비용 상수 이동까지 최적성을 유지한다.
• 원래 시스템과 변환된 시스템 간의 비용 차이는 오직 초기 상태와 하향 리드 타임에만 의존하는 상수이다.
• 이 논문은 기능 상태 공간에서 즉각적 제어 문제를 해결한 최초의 논문으로, 복잡한 확률적 제어 시스템에 대한 새로운 방법론을 제공한다.