[논문 리뷰] Dynamic Programming Principle for Stochastic Recursive Optimal Control Problem under G-framework

Mingshang Hu, Shaolin Ji|arXiv (Cornell University)|2014. 10. 13.

Stochastic processes and financial applications참고 문헌 17인용 수 9

한 줄 요약

이 논문은 복잡도 불확실성 하에서 G-프레임워크에 대한 확률적 순차 최적 제어 문제에 대해 동적 프ogramming 원리(DPP)를 수립한다. 비용 기능은 G-브라운 운동에 의해 구동되는 후행 확률 미분 방정식(BSDE)에 의해 정의된다. 주요 기여는 가치 함수가 완전히 비선형 헤시안-벨만(HJB) 방정식의 연속해임을 증명하는 것으로, 비용 불확실성 하에서 비모수적 확률 측도에 대한 sup-inf 공식화를 통해 강건한 제어를 가능하게 한다.

ABSTRACT

In this paper, we study a stochastic recursive optimal control problem in which the cost functional is described by the solution of a backward stochastic differential equation driven by G-Brownian motion. Under standard assumptions, we establish the dynamic programming principle and the related fully nonlinear HJB equation in the framework of G-expectation. Finally, we show that the value function is the viscosity solution of the obtained HJB equation.

연구 동기 및 목표

• 복잡도 불확실성을 모델링하는 G-프레임워크 하에서 확률적 순차 최적 제어 문제로의 동적 프로그래밍 원리의 확장.
• G-브라운 운동에 의해 구동되는 BSDE를 이용해 비용 기능을 정의함으로써 모델 모호성 하에서의 강건 제어 가능화.
• G-기대값의 맥락에서 완전히 비선형 헤시안-벨만(HJB) 방정식을 만족하는 가치 함수의 증명.
• 유도된 HJB 방정식에 대해 가치 함수의 연속해 성질 수립.
• G-프레임워크와 준확실한 확률적 분석을 통해 고전적 확률적 제어 결과의 강건한 설정으로의 일반화.

제안 방법

• G-브라운 운동에 의해 구동되는 제어된 SDE를 사용해 상태 역학을 기술하며, 드리프트, 확산 및 이차변동항을 포함.
• 비용 기능을 G-브라운 운동에 의해 구동되는 BSDE의 해로 정의하며, 생성함수는 상태, 제어 및 전방 과정에 따라 달라진다.
• G-프레임워크 하에서 동적 프로그래밍 원리를 도출하기 위해 후행 세미군 방법을 적용.
• G-기대값을 비지배적 확률 측도의 초과로 표현하여 제어 문제를 inf-sup 최적화 문제로 재구성.
• 조건부 G-기대값의 극한을 통해 HJB 방정식 수립하고 기준 측도 하에서 BSDE의 비교 정리 적용.
• 조건부 기대값의 수렴과 변형 분석을 통해 가치 함수가 HJB 방정식의 연속해임을 증명.

실험 결과

연구 질문

• RQ1 복잡도 불확실성이 존재하는 G-프레임워크 하에서 확률적 순차 최적 제어 문제에 대해 동적 프로그래밍 원리를 어떻게 확장할 수 있는가?
• RQ2 이 강건 제어 설정에서 가치 함수를 지배하는 헤시안-벨만(HJB) 방정식의 형태는 무엇인가?
• RQ3 완전히 비선형 편미분방정식의 맥락에서 G-기대값 하에서 가치 함수는 연속해 개념과 어떻게 관련되는가?
• RQ4 G-브라운 운동에 의해 구동되는 BSDE의 해는 가족 형태의 확률 측도에 대한 초과로 표현될 수 있으며, 이는 제어 문제에 어떤 영향을 미치는가?
• RQ5 이 일반화된 프레임워크에서 가치 함수의 존재성과 유일성 및 그 연속해 성질을 보장하는 조건은 무엇인가?

주요 결과

• G-프레임워크 하에서 확률적 순차 최적 제어 문제에 대해 동적 프로그래밍 원리가 성립하며, 가치 함수는 조건부 G-기대값의 하한값으로 표현된다.
• 가치 함수는 BSDE의 생성함수와 G-기대값의 비선형 기대값 구조를 포함하는 완전히 비선형 HJB 방정식을 만족한다.
• 가치 함수가 유도된 HJB 방정식의 연속해임이 증명되어, G-프레임워크 하에서 확률적 제어와 비선형 편미분방정식 간의 기본적 연결 고리가 확립된다.
• G-브라운 운동에 의해 구동되는 BSDE의 해는 비지배적 확률 측도의 가족에 대한 고전적 기대값의 초과로 표현 가능하다.
• 증명은 G-기대값의 지지 집합 내에서 기준 확률 측도가 존재하며, 이 경우 조건부 기대값이 결정론적 극한으로 붕괴됨을 전제로 하며, 이는 비교 정리의 가능성을 보장한다.
• 시간 간격이 0으로 수렴함에 따라 조건부 기대값의 극한과 변형 분석을 통해 연속해 성질이 확립된다.