[논문 리뷰] Stochastic Representations for Solutions to Nonlocal Bellman Equations

Ruoting Gong, Chenchen Mou외 1명|arXiv (Cornell University)|2017. 09. 01.

Stochastic processes and financial applications참고 문헌 14인용 수 3

한 줄 요약

이 논문은 유계 영역 내에서 비정상적인 해밀턴-자코비-베르만 적분-편미분 방정식의 점성 해에 대한 확률적 표현을 수립한다. 이는 해가 확률적 최적 제어 문제의 가치 함수와 동치임을 증명하고, 동적 프로그래밍 원리를 유도하며, 점성 해를 통해 결정론적 PDE와 확률적 제어를 연결한다.

ABSTRACT

We prove a stochastic representation formula for the viscosity solution of Dirichlet terminal-boundary value problem for a degenerate Hamilton-Jacobi-Bellman integro-partial differential equation in a bounded domain. We show that the unique viscosity solution is the value function of the associated stochastic optimal control problem. We also obtain the dynamic programming principle for the associated stochastic optimal control problem in a bounded domain.

연구 동기 및 목표

• 유계 영역 내에서 비정상적인 비국소 해밀턴-자코비-베르만 방정식의 점성 해에 대한 확률적 표현 공식을 수립하기.
• 유일한 점성 해가 관련된 확률적 최적 제어 문제의 가치 함수와 일치함을 증명하기.
• 유계 영역 내에서 확률적 최적 제어 문제에 대한 동적 프로그래밍 원리를 유도하기.
• 점성 해 이론을 통해 비국소 PDE와 확률적 제어 이론 사이의 격차를 메우기.

제안 방법

• 저자들은 디리클레 종단-경계 조건이 있는 비정상적인 해밀턴-자코비-베르만 적분-편미분 방정식을 분석하기 위해 점성 해 이론을 사용한다.
• 그들은 PDE 해를 제어된 점프-확산 과정의 기대값과 연결하여 확률적 표현을 구성한다.
• 기저가 되는 확률 과정의 마코프 성질과 강한 마코프 성질을 이용하여 동적 프로그래밍 원리를 도출한다.
• 증명은 점성 해에 대한 비교 원리와 가치 함수가 점성 해로 확인됨을 바탕으로 한다.
• 핵심 구성 요소로는 확산-점프 과정의 생성자와 레비 유형의 점프를 나타내는 비국소 적분 항이 포함된다.
• 분석은 유계 영역에서 이루어지며, 경계 조건과 퇴출 시간에 대한 신중한 처리가 필요하다.

실험 결과

연구 질문

• RQ1 유계 영역 내에서 비정상적인 비국소 해밀턴-자코비-베르만 방정식의 점성 해는 확률적으로 표현될 수 있는가?
• RQ2 점성 해는 점프를 수반하는 확률적 최적 제어 문제의 가치 함수와 동치인가?
• RQ3 유계 영역 내에서 이러한 비국소 PDE에 의해 지배되는 확률적 최적 제어 문제에 대해 동적 프로그래밍 원리가 성립하는가?
• RQ4 경계 조건과 영역 제약 조건은 확률적 표현과 가치 함수에 어떻게 영향을 미치는가?

주요 결과

• 비국소 벨만 방정식의 유일한 점성 해는 확률적 최적 제어 문제의 가치 함수로 표현된다.
• 확률적 표현은 확산 계수의 비정상성과 레비 유형의 점프 존재를 전제로 할 때 성립한다.
• 동적 프로그래밍 원리는 유계 영역 설정에서 확률적 제어 문제에 대해 엄밀히 확립된다.
• 가치 함수는 점성 의미에서 하밀턴-자코비-베르만 방정식을 만족하여 PDE 해와의 일致성을 확인한다.
• 경계 조건은 제어된 확산 과정이 영역에서 퇴출하는 시간을 통해 적절히 반영된다.
• 결과적으로 고전적 확률적 제어 이론은 비국소적이고 비정상적인 PDE에 대해 유계 영역으로 확장된다.