[논문 리뷰] Dual and backward SDE representation for optimal control of non-Markovian SDEs

Marco Fuhrman, Huyên Pham|arXiv (Cornell University)|2013. 10. 25.

Stochastic processes and financial applications참고 문헌 21인용 수 5

한 줄 요약

이 논문은 비마르코프성 확률미분방정식(non-Markovian SDEs)의 최적제어 문제에 대해, 타원성 가정 없이 경로에 의존하는 계수를 갖는 이중 및 역방향 SDE 표현을 수립한다. 제어를 포아송 랜덤 측도를 통해 랜덤화하고 확장된 공간에서 지배 측도를 사용함으로써, 가치 함수는 비음수 점프를 갖는 역방향 SDE의 최소해로 특성화되며, 이는 경로에 의존하는 비마르코프성 버전의 하미튼-자코비-벨리만 방정식을 제공한다.

ABSTRACT

We study optimal stochastic control problem for non-Markovian stochastic differential equations (SDEs) where the drift, diffusion coefficients, and gain functionals are path-dependent, and importantly we do not make any ellipticity assumption on the SDE. We develop a controls randomization approach, and prove that the value function can be reformulated under a family of dominated measures on an enlarged filtered probability space. This value function is then characterized by a backward SDE with nonpositive jumps under a single probability measure, which can be viewed as a path-dependent version of the Hamilton-Jacobi-Bellman equation, and an extension to $G$ expectation.

연구 동기 및 목표

• 제어된 마르코프성 SDE에서의 역방향 SDE 표현을 경로에 의존하는 계수를 갖는 비마르코프성 SDE로 확장한다.
• 제어된 SDE의 확산 계수에 대해 타원성 또는 비퇴화성 가정이 필요 없도록 제거한다.
• 단일 확률 측도 하에서 비음수 점프를 갖는 BSDE를 통한 가치 함수의 확률적 표현을 개발한다.
• 지배 측도의 가족에 대한 이중 제어 공식화를 수립함으로써, 점성해나이솔루션 또는 HJB PDE 유일성에 의존하지 않는 순수한 확률적 접근을 가능하게 한다.

제안 방법

• 제어 과정을 고정된 유한 강도를 갖는 독립된 포아송 랜덤 측도에 의해 구동되는 순수 점프 과정으로 대체함으로써 제어를 랜덤화한다.
• 확률 공간을 확장하여 포아송 랜덤 측도를 포함하고, 포아송 과정의 강도 측도를 변경함으로써 지배 확률 측도의 가족을 정의한다.
• 가치 함수를 이러한 지배 측도에 대한 기댓값으로 표현하는 이중 제어 문제를 구성함으로써, 제어 문제의 약한 공식화를 가능하게 한다.
• 가치 함수를 브라운 운동과 포아송 랜덤 측도에 의해 구동되는 비음수 점프를 갖는 역방향 SDE의 최소해로 특성화한다.
• 비음수 점프 제약 조건을 만족시키기 위해 최소 증가 과정을 사용하여 해가 제어 역학과 일致하도록 보장한다.
• 동적 프ogram밍 원리나 점성해나이솔루션에 의존하지 않고 순수한 확률적 추론을 통해 원래 가치 함수와 BSDE 해의 동치성을 증명한다.

실험 결과

연구 질문

• RQ1 확산 계수에 대한 타원성 가정 없이도, 경로에 의존하는 계수를 갖는 비마르코프성 제어된 SDE의 가치 함수는 비음수 점프를 갖는 역방향 SDE로 표현될 수 있는가?
• RQ2 포아송 랜덤 측도를 통한 제어 랜덤화는 단일 확률 측도 하에서 가치 함수를 유지하면서 최적제어 문제를 어떻게 재구성할 수 있는가?
• RQ3 지배 측도는 비마르코프성 설정에서 가치 함수의 이중 표현을 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 동적 프로그래밍 원리나 점성해나이솔루션 유일성에 의존하지 않고 가치 함수와 BSDE 해 사이의 연결을 어떻게 확립할 수 있는가?
• RQ5 경로에 의존하는 SDE의 맥락에서 연속 제어 과정은 절대 연속 보정을 갖는 순수 점프 과정으로 어떻게 근사할 수 있는가?

주요 결과

• 비마르코프성 최적제어 문제의 가치 함수는 단일 확률 측도 하에서 비음수 점프를 갖는 역방향 SDE의 최소해로 표현된다.
• 확산 계수에 대한 타원성 또는 비퇴화성 가정 없이도 성립하며, 이는 이전 결과를 더 넓은 SDE 클래스로 확장한다.
• 지배 측도에 대한 이중 공식화를 통해 가치 함수는 동치 측도의 가족에 대한 기댓값으로 표현될 수 있으며, 이는 확률적 구성에 유리하다.
• 가치 함수와 BSDE 해 사이의 연결은 점성해나이솔루션 이론이나 HJB PDE 유일성에 의존하지 않고 순수한 확률적 추론을 통해 확립된다.
• 제어 랜덤화 기법은 원래 제어 문제를 점프-확산 프레임워크에 성공적으로 통합하여 표준 BSDE 도구의 사용을 가능하게 한다.
• 비음수 점프를 갖는 BSDE의 최소해는 가치 함수와 일치하며, 이는 하미튼-자코비-벨리만 방정식의 경로에 의존하는 일반화를 제공한다.