[논문 리뷰] On optimal mean-field type control problems of stochastic systems with jump processes under partial information

Yaozhong Hu, David Nualart외 1명|arXiv (Cornell University)|2014. 03. 18.

Stochastic processes and financial applications참고 문헌 10인용 수 5

한 줄 요약

이 논문은 부분 관측 하에서 점프 과정을 가진 정방향 확률적 시스템의 최적 평균장 유형 제어에 대해 마일리반 미분법을 사용하여 명시적인 양안 방정식을 유도함으로써 최대 원리의 수립을 다룬다. 주요 기여는 평균장 항과 필터링을 통한 부분 정보를 통합한 최적성에 대한 필요 조건을 제시하는 것으로, 선형-제곱형 예제를 통해 명시적인 피드백 제어 합성으로 검증된다.

ABSTRACT

This paper considers the problem of partially observed optimal control for forward stochastic systems which are driven by Brownian motions and an independent Poisson random measure with a feature that the cost functional is of mean-field type. When all the system coefficients and the objective performance functionals are allowed to be random, possibly non-Markovian, Malliavin calculus is employed to derive a maximum principle for the optimal control of such a system where the adjointprocess is explicitly expressed. We also investigate the mean-field type optimal control problems for systems driven by mean-field type stochastic differential equations (SDEs in short) with jump processes, in which the coefficients contain not only the state process but also its marginal distribution under partially observed information. The maximum principle is established using convex variational technique with an illustrating example about linear-quadratic optimal control.

연구 동기 및 목표

• 브라운 운동과 포아송 랜덤 측도에 의해 구동되는 확률적 시스템에서 상태가 부분적으로 관측될 때 최적 제어 문제를 다루는 것.
• 계수들이 상태 과정의 법칙에 의존하는 평균장 유형 동역학을 가진 시스템으로 최대 원리를 확장하는 것.
• 비용 기능과 상태 동역학에 무작위적이고 비-마르코프 성분을 포함시켜 더 넓은 적용 가능성을 확보하는 것.
• 관측 흐름에 따라 적응하는 제어를 가진 부분 정보 하에서 마일리반 미분법을 사용하여 필요 최적성 조건을 도출하는 것.
• 선형-제곱형(LQ) 제어 예제를 통해 이론적 프레임워크를 검증하고, 명시적인 피드백 제어 법칙을 도출하는 것.

제안 방법

• 브라운 운동과 독립적인 포아송 랜덤 측도에 의해 구동되는 점프를 포함한 정방향 평균장 SDE로 상태 동역학을 수립한다.
• 관측이 불완전한 상황을 소음이 있는 신호 과정 $ dY(t) = h(t,x^v(t))dt + dW_2(t) $ 로 모델링하며, 제어는 관측 흐름 $ \mathscr{F}_t^Y $ 에 따라 적응한다.
• 마일리반 미분법을 적용하여 양안 과정 $ (p,q,R) $ 을 유도하며, 비용 상태 변수에 대한 역방향 SDE를 명시적으로 표현한다.
• 상태, 그 기대값, 제어에 따라 변하는 계수를 가진 힘함수 $ H $ 를 도입하며, 이는 비용 항, 확산 항, 점프 항, 관측 항을 모두 포함한다.
• 볼록 변분 기법을 통해 최대 원리를 도출하여, 관측 흐름에 대한 조건부 기대값을 포함하는 필요 조건을 도출한다.
• 선형-제곱형 예제를 해결하기 위해 피드백 제어 법칙 $ u(t) = -\frac{1}{\rho(t)O(t)} \mathbb{E}[C(t)p(t) + F(t)q(t) + \int R(t,z)I(t,z)\mu(dz) \mid \mathscr{F}_t^Y] + M(t) $ 을 유도한다.

실험 결과

연구 질문

• RQ1 점프 확산을 포함한 부분 관측 하에서 평균장 유형 제어 문제에 대해 최대 원리를 어떻게 도출할 수 있는가?
• RQ2 무작위적이고 비-마르코프 성분이 존재하며 부분 정보가 있는 상황에서 양안 과정의 명시적 형태는 무엇인가?
• RQ3 마일리반 미분법은 이러한 비-마르코프성 및 부분 관측 환경에서 필요 최적성 조건 유도에 어떻게 기여하는가?
• RQ4 이론적 최대 원리는 평균장 및 점프 성분을 포함한 선형-제곱형(LQ) 제어 문제를 해결하는 데 적용될 수 있는가?
• RQ5 이러한 부분 관측, 평균장 점프 시스템에서 최적 제어의 구조는 관측 흐름에 따라 어떻게 표현되는가?

주요 결과

• 점프 과정과 부분 관측 하에서 평균장 유형 제어 문제에 대해 필요 최적성 조건이 도출되었으며, 이는 힘함수와 양안 과정을 포함하는 조건부 기대값 형태로 표현된다.
• 양안 과정 $ (p,q,R) $ 는 관측 과정에 의존하는 평균장 항을 포함하는 역방향 SDE를 통해 명시적으로 특징지어진다.
• 선형-제곱형 예제에서는 최적 제어가 관측 흐름에 대한 비용 상태 변수의 조건부 기대값의 선형 피드백임을 보였다.
• 최적 제어 법칙은 $ u(t) = -\frac{1}{\rho(t)O(t)} \mathbb{E}[C(t)p(t) + F(t)q(t) + \int R(t,z)I(t,z)\mu(dz) \mid \mathscr{F}_t^Y] + M(t) $ 로 주어지며, LQ 설정 하에서는 명시적으로 계산 가능하다.
• 계수들이 무작위적이고 비-마르코프일 경우에도 최대 원리가 유효하여, 이전 연구에서 요구하던 마르코프성 또는 완전 정보 가정을 초월한다.
• 마일리반 미분법의 사용은 양안 과정에 대한 명시적 표현을 가능하게 하여, 실용적 구현 및 최적성 검증에 있어 핵심적인 역할을 한다.