[논문 리뷰] Mixed Equilibrium Solution of Time-Inconsistent Stochastic LQ Problem

Yuan‐Hua Ni, Xun Li외 2명|arXiv (Cornell University)|2018. 02. 08.

Stochastic processes and financial applications참고 문헌 13인용 수 6

한 줄 요약

이 논문은 시간에 따라 일관되지 않은 이산시간 평균장 스토크래틱 선형-제곱(LQ) 제어 문제에 대해 순수 피드백 전략과 개방 루프 제어를 조합한 혼합 균형 해법을 제안한다. 정방향-역방향 스토크래틱 차분 방정식을 사용하여 존재 조건에 대한 필요 및 충분 조건을 수립하며, 개방 루프 또는 피드백 해법이 존재하지 않을 수 있음에도 혼합 균형 해법이 존재할 수 있음을, 10개의 서로 다른 케이스로 구성된 예시를 통해 보여준다.

ABSTRACT

In this paper, we propose a novel equilibrium solution notion for the time-inconsistent stochastic linear-quadratic optimal control problem. This notion is called the mixed equilibrium solution, which consists of two parts: a pure-feedback-strategy part and an open-loop-control part. When the pure-feedback-strategy part is zero or the open-loop-control part does not depend on the initial state, the mixed equilibrium solution reduces to the open-loop equilibrium control and the feedback equilibrium strategy, respectively. Using a maximum-principle-like methodology with forward-backward stochastic difference equations, a necessary and sufficient condition is established to characterize the existence of a mixed equilibrium solution. Then, by decoupling the forward-backward stochastic difference equations, three sets of difference equations, which together portray the existence of a mixed equilibrium solution, are obtained. Moreover, the case with a fixed time-state initial pair and the case with all the initial pairs are separately investigated. Furthermore, an example is constructed to show that the mixed equilibrium solution exists for all the initial pairs, although neither the open-loop equilibrium control nor the feedback equilibrium strategy exists for some initial pairs.

연구 동기 및 목표

• 시간에 따라 일관되지 않은 스토크래틱 LQ 제어 문제를 해결하기 위해 새로운 균형 해법 개념을 제안한다.
• 단일 프레임워크 내에서 개방 루프 균형 제어와 피드백 균형 전략을 통합한다.
• 평균장 스토크래틱 LQ 문제에 대해 혼합 균형 해법이 존재하는 조건을 규명한다.
• 기본 해법이 실패하는 경우 해법의 존재성과 비유일성을 조사한다.
• 전통적인 LQ 제어를 초월해 균형 해법의 이론적 기초를 확장한다.

제안 방법

• 순수 피드백 전략 부분과 개방 루프 제어 부분으로 구성된 혼합 균형 해법을 제안한다.
• 정방향-역방향 스토크래틱 차분 방정식(FBSDEs) 기반의 최대 원리 유사 방법론을 사용한다.
• 세 개의 차분 방정식 집합으로 분리된 FBSDE를 분해함으로써 혼합 균형 해법 존재에 대한 필요 및 충분 조건을 도출한다.
• 고정된 초기 시간-상태 쌍과 모든 초기 쌍에 대한 두 경우를 분석하여 보다 광범위한 존재 조건을 수립한다.
• 조건부 기대값과 $\mathcal{O}_k^\dagger$와 같은 가역 연산자를 포함한 행렬 방정식을 사용해 명시적 해를 구성한다.
• 10개의 서로 다른 매개변수 조합을 가진 수치 예제를 통해 존재성을 검증하며, 각 경우에서 유효한 혼합 균형 해법이 도출된다.

실험 결과

연구 질문

• RQ1 시간에 따라 일관되지 않은 스토크래틱 LQ 제어 문제에서 개방 루프와 피드백 전략을 통합할 수 있는 통합 해법 개념은 존재하는가?
• RQ2 개방 루프 해법과 피드백 균형 해법이 모두 존재하지 않을 경우, 혼합 균형 해법이 존재하는 조건은 무엇인가?
• RQ3 정방향-역방향 스토크래틱 차분 방정식은 어떻게 분해되어 균형 해법을 특성화할 수 있는가?
• RQ4 다양한 초기 조건에서 혼합 균형 해법의 구조와 비유일성 특성은 어떠한가?
• RQ5 혼합 균형 해법 개념은 연속 시간 설정과 비-LQ 문제로 확장될 수 있는가?

주요 결과

• 10개의 테스트된 초기 쌍 전부에서 혼합 균형 해법이 존재하며, 그 중 일부에서는 개방 루프 균형 제어나 피드백 균형 전략이 존재하지 않는다.
• 10개의 모든 케이스에서 $\mathbb{O}_k > 0$ 이고 $\mathcal{O}_k$ 는 가역적이며, 존재 조건을 만족하는 Theorem 3.13의 조건을 충족한다.
• 해법은 $\Phi_k$ 와 $v^{0,x}_k = - (\mathcal{O}_k^\dagger \mathcal{L}_k + \Phi_k) X_k^{0,x,*}$ 를 통해 구성되며, 각 시간 단계에서 $\mathcal{O}_k^\dagger \mathcal{L}_k$ 가 명시적으로 계산된다.
• 상태 진동은 $X^{0,x,*}_{k+1} = (A_k - B_k \mathcal{O}_k^\dagger \mathcal{L}_k) X_k^{0,x,*} - D_k \mathcal{O}_k^\dagger \mathcal{L}_k X_k^{0,x,*} w_k$ 를 따르며, 경로에 따라 달라지는 역학을 보인다.
• 혼합 균형 해법은 개방 루프와 피드백 전략을 일반화하며, 한 구성 요소가 사라질 경우 그들로 축소된다.
• 혼합 균형 해법의 비유일성이 입증되었으며, 이는 균형 가치 함수를 최소화하는 선택 기준이 필요함을 시사한다.