[논문 리뷰] A Complete Solution to Optimal Control and Stabilization for Mean-field Systems: Part I, Discrete-time Case

Huanshui Zhang, Qingyuan Qi|arXiv (Cornell University)|2016. 08. 23.

Stability and Control of Uncertain Systems참고 문헌 11인용 수 4

한 줄 요약

이 논문은 새로운 최대원리와 전진-후진 확률 차분방정식(FBSDEs)을 사용하여 이산시간 평균장 선형-제곱(LQ) 최적 제어 및 안정화 문제에 대한 완전한 해석적 해를 제시한다. 명시적인 리카티 형태로 충분하고 필수적인 해법 조건을 유도하고, 결합된 대수 Riccati 방정식(AREs)을 통한 정확한 안정화 기준을 수립함으로써 이전의 연산자 유형 조건에서 발견된 검증 및 완전성의 오랜 공백을 해결한다.

ABSTRACT

Different from most of the previous works, this paper provides a thorough solution to the fundamental problems of linear-quadratic (LQ) control and stabilization for discrete-time mean-field systems under basic assumptions. Firstly, the sufficient and necessary condition for the solvability of mean-field LQ control problem is firstly presented in analytic expression based on the maximum principle developed in this paper, which is compared with the results obtained in literatures where only operator type solvability conditions were given. The optimal controller is given in terms of a coupled Riccati equation which is derived from the solution to forward and backward stochastic difference equation (FBSDE). Secondly, the sufficient and necessary stabilization conditions are explored. It is shown that, under exactly observability assumption, the mean-field system is stabilizable in mean square sense if and only if a coupled algebraic Riccati equation (ARE) has a unique solution $P$ and $\bar{P}$ satisfying $P>0$ and $P+\bar{P}>0$. Furthermore, under the exactly detectability assumption, which is a weaker assumption than exactly observability, we show that the mean-field system is stabilizable in mean square sense if and only if the coupled ARE has a unique solution $P$ and $\bar{P}$ satisfying $P\geq 0$ and $P+\bar{P}\geq 0$. The key techniques adopted in this paper are the maximum principle and the solution to the FBSDE obtained in this paper. The derived results in this paper forms the basis to solve the mean-field control problem for continuous-time systems and other related problems.

연구 동기 및 목표

• 기본 가정 하에 이산시간 평균장 LQ 최적 제어 문제에 대한 완전하고 해석적으로 명시적인 해를 제공하기 위해.
• 이전 연구들이 검증하기 어려운 연산자 유형의 해법 조건에 의존한 한계를 극복하기 위해.
• 무한수평선 문제에서 평균 제곱 의미에서 평균장 시스템의 안정화를 위한 충분하고 필수적인 조건을 설정하기 위해.
• 표준 LQ 제어 결과를 평균장 시스템으로 확장하여 평균장 제어의 이론적 프레임워크를 통합하기 위해.
• 연속시간 평균장 제어 문제 및 관련 주제를 해결하기 위한 기초를 마련하기 위해.

제안 방법

• 이산시간 평균장 LQ 제어를 위한 새로운 최대원리를 유도하여 최적성 조건을 직접 유도할 수 있도록 한다.
• 전진 및 후진 확률 차분방정식(FBSDEs)을 해결하여 최적 컨트롤러를 표현한다.
• FBSDE 해에서 유도된 결합된 리카티 방정식 시스템을 구성하여 고전적 LQ 제어와의 구조적 유사성을 확보한다.
• 무한수평선 수렴을 분석하기 위해 최적 비용 함수 기반 리아푸노프 함수 분석을 적용한다.
• 안정화 조건을 도출하기 위해 두 가지 핵심 가정을 도입한다: 정확한 관측 가능성과 정확한 탐지 가능성.
• 행렬 분해 및 변환 기법을 사용하여 시스템을 관측 가능 및 관측 불가능 부분공간으로 분리하여 안정성 분석을 수행한다.

실험 결과

연구 질문

• RQ1 이산시간 평균장 LQ 제어 문제의 해법 조건은 명시적인 해석 형태로 어떻게 기술될 수 있는가?
• RQ2 FBSDE에서 유도된 리카티 방정식을 사용하여 최적 컨트롤러를 어떻게 명시적으로 구성할 수 있는가?
• RQ3 무한수평선 문제에서 평균 제곱 의미에서 평균장 시스템이 안정화 가능할 조건은 무엇인가?
• RQ4 정확한 관측 가능성과 더 약한 정확한 탐지 가능성 가정 사이에서 안정화 조건은 어떻게 다를 수 있는가?
• RQ5 결합된 ARE의 해와 폐루프 시스템의 안정성 간의 관계는 무엇인가?

주요 결과

• 평균장 LQ 제어 문제의 해법 가능성은 새로운 최대원리를 통해 도출된 명시적 해석 형태의 충분하고 필수적인 조건으로 특징지어진다.
• 최적 컨트롤러는 FBSDE 해에서 유도된 결합된 리카티 방정식 시스템을 통해 표현된다.
• 정확한 관측 가능성 가정 하에, 시스템은 유일한 해 (P, P̄)를 가지며 P > 0 및 P + P̄ > 0인 경우에만 평균 제곱 안정화 가능하다.
• 더 약한 정확한 탐지 가능성 가정 하에, 안정화 가능성은 유일한 해가 존재하고 P ≥ 0 및 P + P̄ ≥ 0인 경우에만 성립한다.
• 결과는 고전적 LQ 제어 이론과 유사하지만, 주요 이점은 가중치 행렬 Rk와 Rk + R̄k가 양의 준정의이면 충분하다는 점이다.
• 결합된 리카티 방정식의 수렴 분석을 통해 무한수평선 문제에 대해 안정화 컨트롤러의 존재를 보장한다.