[논문 리뷰] Indefinite Stochastic Linear-Quadratic Optimal Control Problems with Random Coefficients: Closed-Loop Representation of Open-Loop Optimal Controls

Jingrui Sun, Jie Xiong외 1명|arXiv (Cornell University)|2018. 09. 01.

Stochastic processes and financial applications참고 문헌 25인용 수 6

한 줄 요약

이 논문은 랜덤 계수와 정부정( indefinite) 가중 행렬을 가진 확률적 선형-제곱형 최적 제어 문제에 대해 개방 루프 최적 제어의 존재성과 유일성을 확립한다. 힐버트 공간 접근법을 사용하여, 비용 기능의 균일한 볼록성이 관련된 확률적 릿카티 방정식의 유일한 해를 보장하고, 상태 피드백을 통한 최적 제어의 닫힘 루프 표현을 가능하게 하며, 전통적인 결과를 정부정( semi-)정의 행렬을 초월하여 일반화한다.

ABSTRACT

This paper is concerned with a stochastic linear-quadratic optimal control problem in a finite time horizon, where the coefficients of the control system are allowed to be random, and the weighting matrices in the cost functional are allowed to be random and indefinite. It is shown, with a Hilbert space approach, that for the existence of an open-loop optimal control, the convexity of the cost functional (with respect to the control) is necessary; and the uniform convexity, which is slightly stronger, turns out to be sufficient, which also leads to the unique solvability of the associated stochastic Riccati equation. Further, it is shown that the open-loop optimal control admits a closed-loop representation. In addition, some sufficient conditions are obtained for the uniform convexity of the cost functional, which are strictly general than the classical conditions that the weighting matrix-valued processes are positive (semi-)definite.

연구 동기 및 목표

• 랜덤이고 정부정일 수 있는 계수와 가중 행렬을 가진 확률적 선형-제곱형 최적 제어 문제를 다루는 것.
• 랜덤이고 정부정인 비용 기능에 대해 개방 루프 최적 제어의 존재를 위한 필요 및 충분 조건을 확립하는 것.
• 확률적 릿카티 방정식의 해를 이용해 개방 루프 최적 제어의 닫힘 루프 표현을 유도하는 것.
• 전통적인 볼록성 조건을 일반화하기 위해 균일한 볼록성을 충분 조건으로 도입함으로써, 정( semi-)정의 가중 행렬을 초월한 일반화를 이루는 것.
• 이론을 다차원 브라운 운동 설정으로 확장하여 최적 제어의 존재성과 피드백 구조를 증명하는 것.

제안 방법

• 랜덤 계수 하에서 비용 기능의 볼록성 특성을 분석하기 위해 힐버트 공간 프레임워크를 활용한다.
• 비용 기능의 균일한 볼록성이 확률적 릿카티 방정식(SRE)의 유일한 해를 보장하는 것으로 입증한다.
• SRE와 그 연관된 수반 방정식의 해를 통해 개방 루프 최적 제어의 닫힘 루프 표현을 도출한다.
• 이토의 공식과 국소화 추론을 적용하여 비용 기능을 SRE 해를 통해 이차형식을 통해 연결한다.
• 전통적인 정의성 조건을 일반화하기 위해, 정부정 가중 행렬을 允許하는 균일한 볼록성 조건을 도입한다.
• 프레임워크를 d차원 브라운 운동으로 확장하여 다차원 SRE와 피드백 제어 법칙을 유도한다.

실험 결과

연구 질문

• RQ1 랜덤이고 정부정인 가중 행렬을 가진 확률적 선형-제곱형 문제에서 개방 루프 최적 제어가 존재하는 조건은 무엇인가?
• RQ2 비용 기능이 균일하게 볼록할 경우, 개방 루프 최적 제어는 어떻게 닫힘 루프(상태 피드백) 형태로 표현될 수 있는가?
• RQ3 비용 기능의 균일한 볼록성과 확률적 릿카티 방정식의 해 존재성 간의 관계는 무엇인가?
• RQ4 가중 행렬에 대한 전통적인 정의성 가정을 유지하면서도 최적 제어의 존재성과 피드백 구조를 보존하면서 약화시킬 수 있는가?
• RQ5 이론은 다차원 브라운 운동으로 어떻게 확장되며, 그 경우 SRE와 피드백 제어는 어떤 형태를 띄는가?

주요 결과

• 비용 기능의 균일한 볼록성은 개방 루프 최적 제어의 존재성에 필수적이고 충분한 조건이다.
• 균일한 볼록성 조건 하에서 확률적 릿카티 방정식은 유일한 적응형 해를 갖는다.
• 개방 루프 최적 제어는 SRE 해를 포함하는 상태 피드백 법칙을 통해 닫힘 루프 형태로 표현 가능하다.
• 피드백 제어 법칙은 $ u^*_{t,\xi}(s) = \Theta(s)X^*(s) $ 로 주어지며, 여기서 $ \Theta $ 는 SRE 해로부터 유도된다.
• 균일한 볼록성 조건은 기존 결과를 일반화하여, 정부정(필수로 정부정( semi-)정의가 아님을 허용하는) 가중 행렬을 허용한다.
• d차원 브라운 운동의 경우 SRE는 다중 확산 항을 포함하는 형태를 띠며, 동일한 균일한 볼록성 조건 하에서 피드백 제어는 여전히 상태에 대한 선형이다.