[논문 리뷰] Randomization method and backward SDEs for optimal control of partially observed path-dependent stochastic systems

Elena Bandini, Andrea Cosso외 2명|arXiv (Cornell University)|2015. 11. 30.

Stochastic processes and financial applications참고 문헌 31인용 수 9

한 줄 요약

이 논문은 랜덤화 방법을 사용하여 부분 관측, 경로에 의존하는 확률적 제어 문제의 가치 함수에 대해 역방향 SDE 표현을 개발한다. 측정치를 바꾸어 제어 문제를 재구성하고 이와 이중성 BSDE를 연결함으로써, 마코프성 및 비퇴화 조건에 국한되지 않는 일반적인 해법 프레임워크를 수립한다. 이는 금융 공학 및 확률적 제어 분야에서 복잡한 시스템의 수치적 처리를 가능하게 한다.

ABSTRACT

We consider a unifying framework for stochastic control problem including the following features: partial observation, path-dependence (both with respect to the state and the control), and without any non-degeneracy condition on the stochastic differential equation (SDE) for the controlled state process, driven by a Wiener process. In this context, we develop a general methodology, refereed to as the randomization method, studied in [23] for classical Markovian control under full observation, and consisting basically in replacing the control by an exogenous process independent of the driving noise of the SDE. Our first main result is to prove the equivalence between the primal control problem and the randomized control problem where optimization is performed over change of equivalent probability measures affecting the characteristics of the exogenous process. The randomized problem turns out to be associated by duality and separation argument to a backward SDE, which leads to the so-called randomized dynamic programming principle and randomized equation in terms of the path-dependent filter, and then characterizes the value function of the primal problem. In particular, classical optimal control problems with partial observation affected by non-degenerate Gaussian noise fall within the scope of our framework, and are treated by means of an associated backward SDE.

연구 동기 및 목표

• 부분 관측, 경로에 의존하는 확률적 제어 문제의 가치 함수에 대한 일반적인 역방향 SDE 표현을 제공하는 것.
• 이전에 마코프성 또는 비퇴화 설정에 국한되었던 기존 방법을 경로 의존성 및 잠재 요인을 고려하여 확장하는 것.
• 측정치 변화를 통해 원래의 부분 관측 제어 문제와 랜덤화된 제어 문제 사이의 동치성을 확립하는 것.
• 랜덤화된 공식화를 이중성 역방향 SDE와 연결하여 문제의 수치적 처리를 가능하게 하는 것.
• 제어된 SDE에 대한 비퇴화 조건이 필요 없도록 제거하여 실제 금융 모델에 대한 적용 범위를 넓히는 것.

제안 방법

• 기저 확률 측도를 Girsanov 정리를 통해 변형하여 관측 과정과 제어된 확산이 서로 독립이 되도록 하는 참조 확률 측도 방법을 적용한다.
• 지휘 노이즈와 독립적인 외생 과정으로 제어를 대체하는 랜덤화 기법을 도입하고, 이 과정에 영향을 주는 동치 측도에 대해 최적화를 수행한다.
• 최적화가 측도 변화에 대해 이루어지는 보조 랜덤화 제어 문제를 설정하여 원래 문제의 가치를 유지한다.
• 랜덤화된 문제에 대해 이중성 역방향 SDE(역방향 SDE)를 구성하고, 그 해가 원래의 부분 관측 시스템의 가치 함수를 특징짓는다.
• 비정규화된 조건부 분포(제카이 방정식을 통해)를 사용하여 필터링된 신호를 표현하고, 이를 전면 관측 제어 문제의 형태로 재구성한다.
• 새로운 측도 하에서 랜덤화된 점프 측도의 보정자(Compensator)가 제어 경로의 거리 공간에서 수렴함을 보여, 근사화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비퇴화 조건이나 마코프성 가정 없이도 부분 관측, 경로에 의존하는 확률적 제어 문제의 가치 함수에 대해 역방향 SDE 표현을 수립할 수 있는가?
• RQ2 이전에 전면 관측 설정에서만 사용되었던 랜덤화 방법을 노이즈가 상관관계가 있는 부분 관측 시스템에 어떻게 적용할 수 있는가?
• RQ3 측도 변화를 통해 원래 제어 문제와 랜덤화된 제어 문제 사이의 가치 동치성 및 가측 제어 표현 간의 관계는 어떠한가?
• RQ4 결과로 도출된 BSDE는 수치적으로 근사 가능할까? 근사화 방법의 수렴을 보장하는 조건은 무엇인가?
• RQ5 새로운 측도 하에서 랜덤화된 점프 측도의 보정자는 원래 제어 역학과 어떻게 관련이 있는가?

주요 결과

• 원래의 부분 관측 제어 문제의 가치 함수는 랜덤화된 제어 공식화로부터 이중성에 의해 유도된 역방향 SDE로 특징지어진다.
• 경로 의존 계수와 상관 노이즈를 포함한 일반 조건 하에서 원래 문제와 랜덤화된 문제 간의 동치성이 엄밀히 확립된다.
• 이 방법은 제어된 확산 계수에 대한 비퇴화 조건이 필요 없게 하여 퇴화된 모델 및 잠재 요인 모델로의 적용 가능성을 넓힌다.
• 랜덤화된 제어 문제에는 역방향 SDE 표현이 존재하여, 제어 경로의 거리 공간에서 점프 과정의 수렴을 통해 수치적 근사를 가능하게 한다.
• 랜덤화된 점프 측도의 보정자가 유계이고 정확히 양수인 과정으로 수렴함을 보여, 근사화 방법의 안정성과 수렴성을 보장한다.
• 이 프레임워크는 필터링에 제카이 방정식을 사용할 수 있게 하고, 경로 의존 설정에서도 가치 함수를 전면 관측 BSDE의 해로 표현할 수 있도록 한다.