[논문 리뷰] Time-Inconsistent Recursive Stochastic Optimal Control Problems

Qingmeng Wei, Jiongmin Yong외 1명|arXiv (Cornell University)|2016. 06. 10.

Stochastic processes and financial applications참고 문헌 7인용 수 6

한 줄 요약

이 논문은 재귀적 비용 기능을 가진 시간-불일관성 있는 재귀적 확률적 최적 제어 문제를 해결하기 위해 다인자 계층적 미분 게임 접근법을 개발한다. 평형 전략을 수립하고, 이에 해당하는 평형 해밀토니안-자코비-벨만(HJB) 방정식을 유도하며, 적절한 조건 하에서 그 잘 정의됨을 증명함으로써, 재귀적 유틸리티 하에 비마르코프적이고 시간-불일관성 있는 제어를 위한 엄밀한 프레임워크를 제공한다.

ABSTRACT

In this paper, we study a time-inconsistent stochastic optimal control problem with a recursive cost functional by a multi-person hierarchical differential game approach. An equilibrium strategy of this problem is constructed and a corresponding equilibrium Hamilton-Jacobi-Bellman (HJB, for short) equation is established to characterize the associated equilibrium value function. Moreover, a well-posedness result of the equilibrium HJB equation is established under certain conditions.

연구 동기 및 목표

• 기존의 시간-일관성 있는 최적성 기준이 재귀적 유틸리티로 인해 실패하는 시간-불일관성 있는 확률적 최적 제어 문제를 다루기 위해.
• 각 결정 시점 간의 전략적 상호작용을 반영하기 위해 의사결정 과정을 다인자 계층적 미분 게임으로 모델링하기 위해.
• 재귀적 비용 구조에 맞게 조정된 새로운 평형 HJB 방정식을 통해 평형 전략과 가치 함수를 특성화하기 위해.
• 계수의 약간의 연속성 및 성장 조건 하에서 평형 HJB 방정식의 잘 정의됨을 확립하기 위해.
• 기존의 확률적 제어 이론을 재귀적 유틸리티 선호로 인해 최적 제어 정책이 시간-불일관성이 되는 설정으로 확장하기 위해.

제안 방법

• 제어 문제를 상태 과정 $X(s)$, 제어 과정 $u(s)$, 브라운 운동 $W(s)$를 포함하는 제어된 확률미분방정식(SDE)으로 모델링하며, 필터링된 확률 공간 위에서 정의된다.
• 역행성 확률미분방정식(BSDE)을 통해 재귀적 비용 기능을 도입하며, 값 과정 $Y_0(t)$는 지수 할인을 고려한 기대 할인 비용을 나타낸다.
• 시간-불일관성을 모델링하기 위해 계층적 미분 게임 프레임워크를 적용하며, 각 결정 시점을 비협력적 게임에서 별개의 플레이어로 간주한다.
• 값 함수 $V(t,x)$, 제어 $u$, 기울기 $V_x$를 포함하는 편미분방정식(PDE)의 연립방정식의 해로 평형 전략을 특성화함으로써 평형 HJB 방정식을 도출한다.
• 평형 HJB 방정식의 해를 이용해 현재 상태와 시간에 기반한 피드백 제어로서 평형 전략 $u^*(t,x)$를 정의한다.
• 계수의 커널 유계성 및 연속성 가정에 기반하여 고정점 정리와 그로울랄드 유형 추정을 사용하여 평형 HJB 방정식의 잘 정의됨을 확립한다.

실험 결과

연구 질문

• RQ1 비용 기능이 미래 결과에 재귀적으로 의존할 경우, 시간-불일관성 있는 재귀적 확률적 최적 제어 문제는 어떻게 모델링할 수 있는가?
• RQ2 일부 시간에 최적 정책이 나중 시간에 최적일 수 없는 확률적 제어 환경에서 적절한 평형 개념은 무엇인가?
• RQ3 재귀적 유틸리티가 존재하는 상황에서 계층적 미분 게임 프레임워크를 어떻게 활용하여 일관된 평형 전략을 도출할 수 있는가?
• RQ4 이러한 문제에 대해 평형 HJB 방정식의 해가 존재하고 유일함을 보장하는 조건은 무엇인가?
• RQ5 표준적인 연속성 및 성장 조건 하에서 평형 HJB 방정식이 엄밀하게 유도되고 잘 정의됨을 증명할 수 있는가?

주요 결과

• 각 결정 시점이 비협력적 플레이어로 간주되는 계층적 미분 게임 접근법을 통해 평형 전략이 구성되며, 재귀적 유틸리티 하에서 일관된 정책이 도출된다.
• 평형 가치 함수는 평형 제어의 피드백 구조와 비용의 재귀적 성격을 반영하는 새로운 유형의 HJB 방정식을 만족한다.
• 계수의 리프시츠 연속성 및 선형 성장 조건을 포함한 약간의 조건 하에서 고정점 정리를 통해 평형 HJB 방정식의 잘 정의됨이 입증된다.
• 그로울랄드 부등식과 열핵 $\Gamma(t,x;s,y)$ 를 포함하는 커널 추정을 사용하여 해의 안정성이 편미생의 변화에 대해 보장되며, 잘 정의됨이 확립된다.
• 평형 HJB 방정식의 해는 시간-불일관성이 본질적으로 존재하는 문제임에도 불구하고, 평형 의미에서 시간-일관성 있는 피드백 제어 법칙 $u^*(t,x)$ 를 도출한다.
• 근사해의 수렴성을 $L^\infty$-유형 추정을 통해 증명하였으며, 근사 매개변수 $\Pi$ 가 0으로 갈수록 근사해와 진짜 해의 차이가 사라짐을 보였다.