[논문 리뷰] A Non Convex Singular Stochastic Control Problem and its Related Optimal Stopping Boundaries

Tiziano De Angelis, Giorgio Ferrari외 1명|arXiv (Cornell University)|2014. 05. 10.

Stochastic processes and financial applications참고 문헌 37인용 수 28

한 줄 요약

이 논문은 가격이 확률적으로 변동하는 전기 저장 문제를 모델링하는 비볼록 무한시간 영역 특이 스토케스틱 제어 문제를 연구한다. 여기서 최적 제어 정책은 반사 경계와 밀어내기 경계를 모두 포함한다. 이는 이러한 비볼록 문제와 최적 정지 문제 사이의 새로운 연결 고리를 밝혀내며, 가치 함수가 부드러운 맞춤 조건을 갖는 자유 경계 문제를 만족하고, 최적 제어가 일관된 추종 정책과 선택적 정지 기능을 갖는 형태임을 보여준다.

ABSTRACT

Equivalences are known between problems of singular stochastic control (SSC) with convex performance criteria and related questions of optimal stopping, see for example Karatzas and Shreve [SIAM J. Control Optim. 22 (1984)]. The aim of this paper is to investigate how far connections of this type generalise to a non convex problem of purchasing electricity. Where the classical equivalence breaks down we provide alternative connections to optimal stopping problems. We consider a non convex infinite time horizon SSC problem whose state consists of an uncontrolled diffusion representing a real-valued commodity price, and a controlled increasing bounded process representing an inventory. We analyse the geometry of the action and inaction regions by characterising their (optimal) boundaries. Unlike the case of convex SSC problems we find that the optimal boundaries may be both reflecting and repelling and it is natural to interpret the problem as one of SSC with discretionary stopping.

연구 동기 및 목표

• 음수일 수 있는 확률적 가격을 갖는 전기 저장에서 발생하는 비볼록 특이 스토케스틱 제어 문제를 분석하기 위해.
• 비볼록 설정에서 전통적인 특이 제어와 최적 정지 간의 볼록 등가성의 붕괴를 조사하기 위해.
• 행동 영역과 정지 영역의 기하학적 구조, 특히 반사 및 밀어내기 경계를 모두 갖는 최적 경계를 기술하기 위해.
• 자유 경계 문제와 부드러운 맞춤 조건을 통해 비볼록 특이 제어와 최적 정지 사이의 새로운 연결 고리를 수립하기 위해.
• 유한한 연료, 불가역적 투자 문제에 대해, 유한한 재고와 평균 회귀 가격 과정을 갖는 해법 프레임워크를 제공하기 위해.

제안 방법

• 상태 과정 $X_t$(평균 회귀 오르누이엔-볼츠만)와 제어된 재고 $C_t = c + \nu_t$를 갖는 이차원 특이 제어 문제를 수립한다.
• 최적성에 필요한 조건, 즉 부드러운 맞춤 조건과 자유 경계 조건을 유도하기 위해 헤이밀토니안-자코비-벨리만(Hamilton-Jacobi-Bellman, HJB) 방정식을 사용한다.
• 실행 비용과 제어 비용을 포함하는 기대 비용 기능의 하한으로서 가치 함수 $U(x,c)$를 분석한다.
• 실행 비용의 최소값을 기반으로 한 일관된 추종 정책에 의해 최적 제어 $\nu^*$를 기술한다.
• 균일 적분 가능성과 극한 추론을 사용한 검증 추론을 통해 특이 제어 문제와 최적 정지 문제 사이의 동치성을 확립한다.
• 후보 가치 함수가 HJB 방정식과 경계 조건을 만족함을 검증하기 위해 부드러운 접합 기법(smooth-paste technique)을 적용한다.

실험 결과

연구 질문

• RQ1 전통적인 볼록 특이 제어와 최적 정지 간의 연결 고리가 비볼록 설정에서는 어떻게 실패하며, 어떤 대체 연결 고리가 수립될 수 있는가?
• RQ2 유한한 재고를 갖는 비볼록 특이 제어 문제에서 행동 영역과 정지 영역의 기하학적 구조는 어떠한가?
• RQ3 성능 기준이 비볼록일 경우, 최적 제어 정책이 일관된 추종 정책과 선택적 정지 기능을 갖는 것으로 기술될 수 있는가?
• RQ4 반사 경계와 밀어내기 경계는 비볼록 문제의 최적 제어 정책에서 어떤 역할을 하는가?
• RQ5 음수 전기 가격의 존재가 최적 제어와 가치 함수의 구조에 어떤 영향을 미치는가?

주요 결과

• 행동 영역과 정지 영역의 최적 경계는 반사 및 밀어내기 경계 모두를 포함하여 특이 제어와 선택적 정지의 특징을 모두 갖는 하이브리드 제어 정책을 나타낸다.
• 값 함수 $U(x,c)$는 최적 경계 $\beta_*(c)$에서 부드러운 맞춤 조건을 만족하는 자유 경계 문제를 만족하며, 경계에서 $C^1$ 정규성을 보장한다.
• 최적 제어 $\nu^*$는 $\nu_t^* = \left[ g_*(\inf_{s \leq t} X_s) - c \right]^+$ 형태이며, 여기서 $g_*$는 $[0,1]$로 사상하는 감소 함수이므로 일관된 추종 정책을 나타낸다.
• 균일 적분 가능성과 극한 추론을 사용한 검증 추론을 통해 특이 제어 문제와 최적 정지 문제가 동치임을 입증하였으며, 특이 제어 문제의 가치 함수는 기대 할인 수익의 정지 시간에 대한 상한값과 같다.
• 최적 경계 $\beta_*(c)$는 $\beta_*(c) < \hat{x}_0(c)$를 만족하며, 여기서 $\hat{x}_0(c)$는 특정 보조 방정식의 해이므로 부드러운 맞춤 조건의 타당성을 보장한다.
• 값 함수는 유계이면서 균일 적분 가능하므로, 검증 과정에서 극한 추론을 사용하여 후보 해의 최적성을 확인할 수 있다.