[논문 리뷰] Equilibrium for Time-Inconsistent Stochastic Linear--Quadratic Control under Constraint

Ying Hu, Jianhui Huang외 1명|arXiv (Cornell University)|2017. 03. 28.

Stochastic processes and financial applications참고 문헌 20인용 수 11

한 줄 요약

이 논문은 제어 입력 제약 조건이 있는 시간 비일관성 있는 확률적 선형-제곱(LQ) 제어 문제를 해결하기 위한 새로운 방법론을 개발한다. 스파이크 변형과 확률적 최대원리를 사용하여 평형 전략을 유도한다. 정방향-역방향 확률미분방정식(FBSDE)을 통해 평형 해의 존재성과 유일성을 확립하고, 볼록 원뿔 제약 조건 하에서 평균-분산 포트폴리오 선택에 대해 명시적이고 유일한 해를 제공한다.

ABSTRACT

In this paper, we study a class of stochastic time-inconsistent linear-quadratic (LQ) control problems with control input constraints. These problems are investigated within the more general framework associated with random coefficients. This paper aims to further develop a new methodology, which fundamentally differs from those in the standard control (without constraints) theory in the literature, to cope with the mathematical difficulties raised due to the presence of input constraints. We first prove that the existence of an equilibrium solution is equivalent to the existence of a solution to some forward-backward stochastic differential equations with constraints. Under convex cone constraint, an explicit solution to equilibrium for mean-variance portfolio selection can be obtained and proved to be unique. Finally, some examples are discussed to shed light on the comparison between our established results and standard control theory.

연구 동기 및 목표

• 제어 입력 제약 조건이 있는 시간 비일관성 있는 확률적 LQ 제어 문제에서 발생하는 수학적 과제를 다루기 위해.
• 기존 제어 이론과 근본적으로 다름을 보여주는 새로운 프레임워크를 개발하기 위해, 특히 제약 조건을 다룰 때.
• 평형 해의 존재성과 제약 조건이 있는 FBSDE의 해법 가능성 사이의 등가성을 확립하기 위해.
• 볼록 원뿔 제약 조건 하에서 평균-분산 포트폴리오 선택에 대해 명시적이고 유일한 평형 해를 도출하기 위해.
• 오픈 루프 평형 제어의 성능을 피드백 및 사전 결정 제어와 비교하여, 더 높은 효율성을 입증하기 위해.

제안 방법

• 피드백 형태에 의존하지 않도록, 오픈 루프 제어의 스파이크 변형을 사용하여 평형을 정의한다.
• 제약 조건 하에서 평형을 위한 필요 및 충분 조건을 도출하기 위해 확률적 최대원리를 적용한다.
• 제어 제약 조건이 있는 정방향-역방향 확률미분방정식(FBSDE)의 해법 가능성으로 평형 조건을 축소한다.
• 제어 공간 내 볼록 원뿔 제약 조건을 다루기 위해 제약 집합 K 위로의 사영 연산자를 도입한다.
• 편미분 계수를 제약 집합에 사영하는 방식을 포함한 선형 피드백 함수 형태로 명시적 평형 제어를 도출한다.
• 역동성에 랜덤 계수를 고려하여, 결정론적 사례를 초월한 적용 가능성을 확장한다.

실험 결과

연구 질문

• RQ1 제어 입력이 제약 조건이 있는 시간 비일관성 있는 LQ 제어 문제에서 평형 전략은 어떻게 정의되고 특성화될 수 있는가?
• RQ2 평형 해의 존재성과 제약 조건이 있는 FBSDE 시스템의 해법 가능성 사이의 관계는 무엇인가?
• RQ3 볼록 원뿔 제약 조건 하에서 평균-분산 포트폴리오 선택에 대해 명시적이고 유일한 평형 해를 도출할 수 있는가?
• RQ4 목적 함수 값 측면에서 오픈 루프 평형 제어의 성능은 피드백 제어 및 사전 결정 제어와 비교해 어떻게 되는가?
• RQ5 왜 [3]에서 제시한 피드백 기반 평형은 여기서 도출된 오픈 루프 평형과 다를까? 성능 격차는 무엇으로 설명되는가?

주요 결과

• 평형 해의 존재성은 제약 조건이 있는 정방향-역방향 확률미분방정식(FBSDE)의 해법 가능성과 동치이다.
• 볼록 원뿔 제약 조건 하에서, 평균-분산 포트폴리오 선택에 대해 명시적이고 유일한 평형 제어가 도출된다.
• 오픈 루프 평형 제어는 사전 결정 및 피드백 기반 제어보다 더 좋은 목적 함수 값을 제공하며, 명시적 표현을 통해 $ J(0,x_0;u^*) > J(0,x_0;u^{*pre}) $ 및 $ J(0,x_0;u^{*fbe}) > J(0,x_0;u^{*pre}) $ 를 보여준다.
• 오픈 루프 평형의 선형 계수는 [3]에서 사용된 적분 방정식의 해가 아니며, 이는 오픈 루프와 피드백 기반 평형 정의 간의 근본적인 차이를 확인한다.
• 이 방법은 랜덤 계수 모델에도 적용 가능하여, [3]에서 사용된 HJB 접근법이 적용되지 않는 영역까지 확장되며, 기존 이론의 범위를 넓힌다.
• 성능 비교 결과, 오픈 루프 평형 제어가 평균-분산 목적 함수 최소화 측면에서 피드백 및 사전 결정 제어를 모두 압도한다.