[논문 리뷰] Linear--Quadratic control for a class of stochastic Volterra equations: solvability and approximation

Eduardo Abi Jaber, Enzo Miller외 1명|arXiv (Cornell University)|2019. 11. 05.

Stochastic processes and financial applications참고 문헌 29인용 수 12

한 줄 요약

이 논문은 서명된 행렬 측도의 라플라스 변환으로 정의된 핵을 가진 확률적 볼테라 방정식의 선형-제곱(LQ) 제어 문제의 해법 가능성과 근사 가능성을 확립한다. 이는 허스트 지수 $ H \leq 1/2 $인 분수 차분 브라운 운동을 포함한다. 바나흐 공간에서의 마르코비안 리프트를 도입하고, 비표준 바나흐 공간 리카티 방정식을 통해 가치 함수가 이차형식이며 최적 제어가 선형 피드백임을 증명하며, 유한차원 LQ 문제로의 근사가 수치 계산에 적합함을 보여준다.

ABSTRACT

We provide an exhaustive treatment of Linear-Quadratic control problems for a class of stochastic Volterra equations of convolution type, whose kernels are Laplace transforms of certain signed matrix measures which are not necessarily finite. These equations are in general neither Markovian nor semimartingales, and include the fractional Brownian motion with Hurst index smaller than $1/2$ as a special case. We establish the correspondence of the initial problem with a possibly infinite dimensional Markovian one in a Banach space, which allows us to identify the Markovian controlled state variables. Using a refined martingale verification argument combined with a squares completion technique, we prove that the value function is of linear quadratic form in these state variables with a linear optimal feedback control, depending on non-standard Banach space valued Riccati equations. Furthermore, we show that the value function of the stochastic Volterra optimization problem can be approximated by that of conventional finite dimensional Markovian Linear--Quadratic problems, which is of crucial importance for numerical implementation.

연구 동기 및 목표

• 비마르코비안이며 비세미마르팅글의 확률적 볼테라 과정의 선형-제곱(LQ) 제어 문제에 대한 해법 가능성과 수치적 구현 가능성 부족을 해결하기 위해.
• 기존 이토 미적분학의 범위를 벗어나는 기억 효과를 가진 시스템, 예를 들어 $ H \leq 1/2 $인 분수 차분 브라운 운동과 같은 시스템으로 고전적 LQ 제어 이론을 확장하기 위해.
• 동적 프로그래밍 및 검증 기법을 적용할 수 있도록 무한차원 바나흐 공간에서의 마르코비안 표현을 개발하기 위해.
• 가치 함수가 이차형식이며 최적 제어가 리프트된 상태 변수에 대한 선형 피드백임을 증명하고, 새로운 유형의 리카티 방정식으로 제어됨을 보여주기 위해.
• 핵과 초기 조건의 근사화에 따른 가치 함수와 최적 제어의 수렴성을 확립하여, 유한차원 LQ 문제를 통한 수치 계산 가능성을 보장하기 위해.

제안 방법

• 핵을 서명된 행렬 측도 $ \mu $의 라플라스 변환으로 표현함으로써, 원래의 비마르코비안이며 비세미마르팅글인 확률적 볼테라 방정식을 바나흐 공간 $ L^1(\mu) $에서의 마르코비안 제어 시스템으로 리프트하기 위해.
• 정밀한 마르팅글 검증 기법과 제곱 완성 기법을 조합하여 최적 제어 및 가치 함수의 구조를 도출하기 위해.
• 가치 함수를 리프트된 상태 변수에서의 이차형식으로 특성화하고, 최적 제어를 선형 피드백으로 표현하며, 계수는 바나흐 공간 내에서의 적분 연산자 리카티 방정식 시스템에 의해 결정됨을 밝히기 위해.
• 적절한 적분 가능성 및 가역성 조건 하에서 비표준 바나흐 공간 리카티 방정식의 해가 존재하고 유일함을 증명하기 위해.
• 핵 $ K^n $ 과 초기 함수 $ g_0^n $ 의 수열을 사용하여 원래 문제의 유한차원 마르코비안 LQ 문제로의 근사 구조를 구성하기 위해.
• 최적 제어의 $ L^2 $-추정 및 균일한 경계를 확립하여 근사화에 따른 가치 함수 및 제어의 수렴성을 증명하고, 수치적 실행 가능성 보장하기 위해.

실험 결과

연구 질문

• RQ1 메모리 핵이 서명된 측도의 라플라스 변환으로 정의된 확률적 볼테라 방정식의 선형-제곱(LQ) 제어 문제는, 과정이 마르코비안도 아니고 세미마르팅글도 아닐 경우에도 명시적으로 해를 구할 수 있는가?
• RQ2 이러한 시스템의 가치 함수 및 최적 제어의 구조는 어떠한가? 그리고 고전적 LQ 이론과 유사한 피드백 형태로 표현될 수 있는가?
• RQ3 무한차원 상태 공간의 성질을 어떻게 다루어야 동적 프로그래밍 및 검증 기법을 적용할 수 있는가?
• RQ4 원래의 확률적 볼테라 문제의 가치 함수 및 최적 제어는 유한차원 마르코비안 LQ 문제의 결과로 근사 가능할 수 있는가? 이를 통한 수치 계산이 가능한가?
• RQ5 핵 및 초기 조건 수열에 대해 근사의 안정성과 수렴성을 보장하는 조건는 무엇인가?

주요 결과

• 확률적 볼테라 LQ 제어 문제의 가치 함수는 바나흐 공간 $ L^1(\mu) $ 내에서 리프트된 마르코비안 상태 변수에 대해 이차형식이며, 최적 제어는 이 변수들에 대한 선형 피드백이다.
• 가치 함수의 이차형식 및 선형형식 계수는 바나흐 공간 내에서의 비표준 적분 연산자 리카티 방정식 시스템에 의해 결정되며, 이는 온건한 적분 가능성 조건 하에서 해법 가능성이 입증된다.
• 최적 제어는 $ \alpha_t^* = -\Gamma(t) Y_t^* $ 로 주어지며, 여기서 $ \Gamma(t) $ 는 핵 측도 $ \mu $ 를 포함하는 리카티 방정식의 해로서, 브라운 운동의 고전적 해 $ \tanh(T-t) $ 를 일반화한다.
• 원래 문제의 가치 함수는 유한차원 마르코비안 LQ 문제의 가치 함수로 임의로 정밀하게 근사 가능하며, 비용 기능 및 최적 제어 모두에서 $ L^2 $-노름 수렴이 성립한다.
• 유계성 및 가역성 가정 하에 최적 제어의 $ L^2 $-노름에 대한 균일한 경계가 확립되어 근사 방법의 안정성을 보장한다.
• 근사된 가치 함수의 수렴 속도는 $ \|g_0^n - g_0\|_{L^2(0,T)} $ 와 $ \|K^n - K\|_{L^2(0,T)} $ 의 $ L^2 $-노름에 의해 제어되며, 사전 추정을 통해 명시적인 오차 경계가 유도된다.