[논문 리뷰] Linear Quadratic Optimal Control and Stabilization for Discrete-time Markov Jump Linear Systems

Chunyan Han, Hongdan Li외 2명|arXiv (Cornell University)|2018. 03. 14.

Stability and Control of Uncertain Systems참고 문헌 19인용 수 6

한 줄 요약

이 논문은 유한시간 이산시간 마코프 점프 선형 시스템(MJLS)에서 최적 제어기 존재성을 위한 필요충분조건을 연립 차분 리카티 방정식(CDRE)로부터 도출하고, 무한시간 MJLS에서 평균 제곱 안정성을 위한 필요충분조건을 관련된 연립 대수 Riccati 방정식(CARE)의 유일한 양의 정부호 해의 존재성에 기반하여 수립한다. 핵심 기여는 탐지 가능성 가정 없이도 검증 가능한, 양의 정부호 기반 기준을 제공하는 것이다.

ABSTRACT

This paper mainly investigates the optimal control and stabilization problems for linear discrete-time Markov jump systems. The general case for the finite-horizon optimal controller is considered, where the input weighting matrix in the performance index is just required to be positive semi-definite. The necessary and sufficient condition for the existence of the optimal controller in finite-horizon is given explicitly from a set of coupled difference Riccati equations (CDRE). One of the key techniques is to solve the forward and backward stochastic difference equation (FDSDE) which is obtained by the maximum principle. As to the infinite-horizon case, we establish the necessary and sufficient condition to stabilize the Markov jump linear system in the mean square sense. It is shown that the Markov jump linear system is stabilizable under the optimal controller if and only if the associated couple algebraic Riccati equation (CARE) has a unique positive solution. Meanwhile, the optimal controller and optimal cost function in infinite-horizon case are expressed explicitly.

연구 동기 및 목표

• 입력 가중 행렬이 양의 준정부호일 뿐이어야 하는 이산시간 마코프 점프 선형 시스템의 유한시간 최적 제어 문제를 다루는 것.
• 연립 차분 리카티 방정식(CDRE)을 사용하여 유한시간 경우에서 최적 제어기 존재성을 위한 필요충분조건을 유도하는 것.
• 무한시간 경우에서 MJLS의 평균 제곱 안정가능성을 위한 필요충분조건을 수립하는 것.
• 탐지 가능성 가정 없이도 쉽게 검증 가능한, CARE의 양의 정부호 해 존재성에 기반한 안정화 기준을 제공하는 것.
• 무한시간 경우에서 최적 제어기 및 최적 비용 함수를 명시적으로 표현하는 것.

제안 방법

• 이전 결과에서 요구하던 양의 정부호 가중치가 아닌, 양의 준정부호 입력 가중치를 갖는 성능 지표를 사용하여 최적 제어 문제를 수립한다.
• 스토하스틱 최대원리(stochastic maximum principle)를 적용하여 전진-후진 확률적 차분 방정식(FDSDE)을 유도하고, 이를 해석하여 최적 제어 법칙을 도출한다.
• 연립 차분 리카티 방정식(CDRE)을 유한시간 최적 제어 존재성에 대한 필요충분조건으로 도출한다.
• 무한시간 안정화를 위한 핵심 방정식으로서 연립 대수 Riccati 방정식(CARE)을 수립하고, 최적 제어기와 CARE 해를 연결한다.
• 평균 제곱 안정가능성이 CARE의 유일한 양의 정부호 해 존재성과 동치임을 증명하여 약한 탐지 가능성 가정이 필요 없음을 보인다.
• 수치 시뮬레이션을 통해 이론적 결과를 검증하고, 시간에 따른 리카티 계수 수렴, 최적 상태 궤적 및 제어 입력의 효과를 입증한다.

실험 결과

연구 질문

• RQ1 입력 가중 행렬이 양의 준정부호일 뿐인 이산시간 MJLS에서 유한시간 최적 제어기 존재성에 대한 필요충분조건은 무엇인가?
• RQ2 MJLS의 무한시간 경우에서 최적 제어기 및 비용 함수는 어떻게 명시적으로 표현할 수 있는가?
• RQ3 무한시간 설정에서 MJLS의 평균 제곱 안정가능성에 대한 필요충분조건은 무엇인가?
• RQ4 약한 탐지 가능성과 같은 탐지 가능성 개념에 의존하지 않고도 안정가능성 조건를 제시할 수 있는가?
• RQ5 연립 대수 Riccati 방정식(CARE)의 해는 실무에서 어떻게 안정가능성 검증에 활용될 수 있는가?

주요 결과

• 유한시간 최적 제어기 존재성에 대한 필요충분조건은 연립 차분 리카티 방정식(CDRE)의 해가 존재하는 것으로, 최대원리 및 전진-후진 확률적 차분 방정식의 해석을 통해 확립된다.
• 무한시간 경우에서 시스템은 유일한 양의 정부호 해를 갖는 관련된 연립 대수 Riccati 방정식(CARE)이 존재할 때에만 평균 제곱 안정가능하다.
• 무한시간 경우의 최적 제어기는 $ u(k) = -\Upsilon_i^{-1}M_i x(k) $ 로 주어지고, 최적 비용은 $ J^* = \mathbb{E}\{x_0^\prime P_{\theta(0)}x_0\} $ 로 CARE 해로부터 명시적으로 유도된다.
• 제안된 안정가능성 조건는 필요충분이며, 이는 CARE 해의 양의 정부호성만 확인하면 쉽게 검증 가능하다. 이는 이전 방법에서 요구하던 복잡한 탐지 가능성 검증이 필요 없음을 의미한다.
• 2차 시스템과 2모드 마코프 체인을 사용한 수치 시뮬레이션은 리카티 계수의 수렴성과 최적 제어 및 상태 궤적의 효과를 확인한다.
• 이전 연구에서 요구하던 제한적인 가정(예: 양의 정부호 입력 가중치, 약한 탐지 가능성)을 제거함으로써, 보다 실용적이고 계산적으로 검증 가능한 기준을 제공한다.