[논문 리뷰] Dynamic programming principle for one kind of stochastic recursive optimal control problem and Hamilton-Jacobi-Bellman equations

Zhen Wu, Zhiyong Yu|arXiv (Cornell University)|2007. 04. 28.

Stochastic processes and financial applications참고 문헌 3인용 수 6

한 줄 요약

이 논문은 비용 함수가 반사 후행 확률미분방정식(RBSDE)에 의해 지배되는 확률적 순차 최적제어 문제에 대해 장애물 제약 조건이 있는 동적계획법 원리를 수립한다. 값 함수가 장애물이 있는 해밀턴-자코비-벨리만(HJB) 방정식의 유일한 점성해임을 증명하며, 펀의 동적계획법 프레임워크를 마코프 설정 하에서 제약 조건이 있는 순차 제어 문제로 확장한다.

ABSTRACT

In this paper, we study one kind of stochastic recursive optimal control problem with the obstacle constraints for the cost function where the cost function is described by the solution of one reflected backward stochastic differential equations. We will give the dynamic programming principle for this kind of optimal control problem and show that the value function is the unique viscosity solution of the obstacle problem for the corresponding Hamilton-Jacobi-Bellman equations.

연구 동기 및 목표

• 비용 함수에 장애물 제약 조건이 있는 순차 최적제어 문제에 대해 동적계획법 원리를 확장하기.
• 비용 함수가 반사 BSDE를 통해 제약을 받을 경우 동적계획법 원리가 여전히 유효한지 조사하기.
• 해밀턴-자코비-벨리만(HJB) 방정식에 장애물이 있는 경우 값 함수를 유일한 점성해로 특성화하기.
• 마코프 조건 하에서 반사 BSDE의 경우로 펀의 동적계획법 프레임워크를 일반화하기.

제안 방법

• 하향 장애물이 있는 반사 BSDE로 정의된 비용 함수를 갖는 순차 최적제어 문제를 수립하기.
• 반사 BSDE의 후행 반조직 성질을 이용해 동적계획법 원리를 도출하기.
• 반사 BSDE의 분석 기법과 사전 추정치를 활용해 리프시츠 조건 하에서 원리가 성립함을 증명하기.
• 값 함수와 장애물이 있는 HJB 방정식의 점성해 사이의 관계를 수립하기.
• 반사 BSDE의 비교 정리와 안정성 결과를 활용해 점성해의 유일성을 보장하기.
• 마코프 프레임워크를 활용해 값 함수를 장애물 제약 조건이 있는 비선형 포물형 PDE와 연결하기.

실험 결과

연구 질문

• RQ1 비용 함수에 장애물 제약 조건이 있는 순차 최적제어 문제에 대해 동적계획법 원리가 성립하는가?
• RQ2 이러한 제약 조건이 있는 문제의 값 함수가 장애물이 있는 해밀턴-자코비-벨리만 방정식의 점성해로 특성화될 수 있는가?
• RQ3 주어진 마코프 조건과 리프시츠 조건 하에서 이 점성해가 유일한가?
• RQ4 반사 과정의 존재가 순차 제어에서 동적계획법 구조에 어떤 영향을 미치는가?
• RQ5 이 제어 맥락에서 반사 BSDE 수식과 장애물이 있는 HJB 방정식 사이의 관계는 무엇인가?

주요 결과

• 비용 함수에 장애물 제약 조건이 있는 확률적 순차 최적제어 문제에 대해 동적계획법 원리가 성립한다.
• 해당 해밀턴-자코비-벨리만(HJB) 방정식에 장애물이 있는 문제의 값 함수는 유일한 점성해이다.
• 증명은 반사 BSDE의 후행 반조직 성질과 리프시츠 조건 하에서의 안정성 추정치에 기반한다.
• 이 프레임워크는 펀의 이전 연구에서의 순차 제어 결과를 반사 및 제약 조건이 있는 경우로 확장한다.
• 장애물 제약 조건은 최소 증가 과정을 통해 모델링되어 비용 함수가 주어진 확률과정 위에 유지됨을 보장한다.
• 결과는 이전의 반사 BSDE 및 혼합 제어 문제에 대한 연구를 더 넓은 범위의 순차 최적제어 문제로 일반화한다.