[논문 리뷰] A probabilistic approach to large time behaviour of mild solutions of Hamilton-Jacobi-Bellman equations in infinite dimension

Ying Hu, Pierre-Yves Madec외 1명|arXiv (Cornell University)|2014. 06. 23.

Stochastic processes and financial applications참고 문헌 10인용 수 10

한 줄 요약

이 논문은 무한차원 힐버트 공간에서 미약한 해의 장기적 행동을 분석하기 위해 순수하게 확률론적 방법을 제시한다. 유한한 시간 영역에서의 역방향 확률미분방정식(BSDE)의 해와 에르고딕 BSDE의 해를 지르산وف 변환과 커플링 추정을 통해 연결함으로써, 명시적인 지수적 수렴 속도를 확립한다: |u(T,x)−λT−v(x)−L|≤C(1+|x|^{2+μ})e^{−η̂T}, 여기서 λ와 v는 에르고딕 HJB 방정식의 해이며, L은 일정한 이동량이다.

ABSTRACT

We study the large time behaviour of mild solutions of HJB equations in infinite dimension by a purely probabilistic approach. For that purpose, we show that the solution of a BSDE in finite horizon $T$ taken at initial time behaves like a linear term in $T$ shifted with the solution of the associated EBSDE taken at initial time. Moreover we give an explicit speed of convergence, which seems to appear very rarely in literature.

연구 동기 및 목표

• 무한차원 힐버트 공간에서 HJB 방정식의 미약한 해의 장기적 점근적 행동을 분석하는 것.
• 유한한 시간 영역에서의 해와 그 에르고딕 근사 간의 차이에 대한 수렴 속도를 확립하는 것.
• 순수하게 확률론적 프레임워크를 개발하여 순수한 해석학적 또는 PDE 기반 방법을 피하는 것.
• 결과를 최적 제어 문제에 적용하여 유한한 시간 영역 비용과 에르고딕 비용을 연결하는 것.

제안 방법

• 유한한 시간 영역 T에서의 미약한 해의 확률론적 표현을 배경으로 하는 역방향 확률미분방정식(BSDE)을 활용한다.
• 시작 시점 0에서의 유한한 시간 영역 BSDE 해와 에르고딕 BSDE(EBSDE)의 해 사이의 연결 고리를 활용한다.
• 확률 측도를 재가중하기 위해 지르산오프 변환을 적용하고, 서로 다른 측도 하에서의 SDE 동역학을 비교한다.
• 원래 측도와 변환된 측도 하에서의 옴스타인-울렌벡 과정의 법칙 간의 거리를 제어하기 위해 커플링 추정을 사용한다.
• 힐베르트 공간 H에 값을 갖는 옴스타인-울렌벡 과정을 지배하는 데 사용되는 라플라스-카플로프 반경의 형식적 생성자 L을 사용한다.
• 명시적인 지수적 수렴 속도를 갖는 점근적 전개 u(T,x) = λT + v(x) + L + o(1)를 유도한다.

실험 결과

연구 질문

• RQ1 시간 영역 T가 무한대에 접근함에 따라, 유한한 시간 영역 HJB 방정식의 해는 어떻게 행동하는가?
• RQ2 유한한 시간 영역 해가 에르고딕 해의 선형-시간 보정에 수렴하는 과정을 명시적인 속도로 정량화할 수 있는가?
• RQ3 해 u(T,x)의 점근적 전개에서 에르고딕 성분 (λ, v)의 역할은 무엇인가?
• RQ4 PDE 또는 볼루티시티 해 기법에 의존하지 않고도, 미약한 해의 장기적 행동을 분석할 수 있는가?
• RQ5 BSDE를 통한 해의 확률론적 표현을 어떻게 활용하여 무한차원 HJB 방정식에서의 수렴 속도를 도출할 수 있는가?

주요 결과

• 유한한 시간 영역 BSDE의 시작 시점 0에서의 해는 T → ∞일 때 λT + v(x) + L로 수렴하며, 여기서 λ와 v는 에르고딕 HJB 방정식의 해이다.
• 명시적인 지수적 수렴 속도가 확립된다: |u(T,x)−λT−v(x)−L|≤C(1+|x|^{2+μ})e^{−η̂T}, 여기서 η̂는 연산자 A의 분산성에 의존한다.
• 수렴 속도는 |x|에 대해 다항식이며, T에 대해 지수적이다. 지수 항의 계수 η̂는 A의 분산성 상수와 연결되어 있다.
• 이 방법은 순수하게 확률론적이며, 지르산오프 변환과 커플링 추정에 의존하여 전통적인 PDE 기법을 피한다.
• 이 결과는 g와 f에 대해 다항식 성장 조건을 만족하고, f가 기울기 변수에 대해 리프시츠 조건을 만족하는 HJB 방정식에 적용 가능하다.
• 이 프레임워크는 최적 제어 문제로 확장되며, 유한한 시간 영역 비용 J^T(x,a)가 점진적으로 λT + v(x) + L로 행동함을 보여주며, 여기서 λ는 에르고딕 비용이고 L은 일정한 이동량이다.