[논문 리뷰] Optimal Control for Discrete-time Markov Jump Linear System with Control Input Delay

Chunyan Han, Hongdan Li외 1명|arXiv (Cornell University)|2018. 08. 19.

Stability and Control of Uncertain Systems참고 문헌 17인용 수 4

한 줄 요약

이 논문은 제어 입력 지연이 있는 이산시간 마르코프 점프 선형 시스템(MJLS)에서 유한 시간 영역 최적 제어를 위한 새로운 해석적 해를 제시한다. 개선된 지연된 전진 및 후진 점프 파라미터 차분 방정식과 d단계 후진 공식을 도입함으로써, 최적성에 대한 필요 및 충분 조건을 유도하여, 현재 및 과거 상태와 제어 입력의 선형 함수로 표현되는 명시적 컨트롤러를 도출한다. 이 컨트롤러의 피드백 이득은 새로운 결합된 차분 리카티 방정식을 통해 계산된다.

ABSTRACT

This paper deals with the finite horizon optimal control problem for discrete-time Markov jump linear system with input delay. The correlation among the jumping parameters and the input delay are considered simultaneously, which forms the basic difficulty of the design. one of the key techniques is to solve a delayed forward and backward jumping parameter difference equation which is obtained by an improved maximum principle, and the other is the introduction of a "d-step backward formula". Based on the proposed techniques, a necessary and sufficient condition for the existence of the optimal controller is given in an explicit form and an analytical solution to the optimal controller is supplied. The optimal controller is a linear function of the current time state and the historical time control input, where the feedback gains are a set of jumping parameter matrices derived by solving a new type of coupled difference Riccati equation. The key step in the derivation is to establish the relationship between the costate and the real state of the system. The result obtained in this paper can be viewed as a generalization of the standard case, in which there is only one mode of operation.

연구 동기 및 목표

• 제어 입력이 랜덤 지연을 겪는 이산시간 마르코프 점프 선형 시스템(MJLS)에서 최적 제어 문제를 다루기.
• 점프 파라미터와 제어 입력 지연 간의 상관관계로 인해 기존의 동적 프rogramming 및 분리 원칙이 무효화되는 이중적 곤경을 극복하기.
• 분리 원칙에 의존하지 않는 직접적 접근을 통해 명시적 최적 컨트롤러를 유도하기 위한 스토크라스틱 최대 원칙 기반의 방법 개발.
• 이러한 시스템의 최적 컨트롤러 존재에 대한 필요 및 충분 조건을 닫힌 형태로 확립하기.
• 표준 MJLS 최적 제어 이론을 지연된 입력 상황으로 일반화하여, 곱셈 노이즈와 지연을 포함한 스토크라스틱 시스템으로 결과를 확장하기.

제안 방법

• 비용 상태 역학에서의 제어 입력 지연을 다루기 위해 개선된 지연된 전진 및 후진 점프 파라미터 차분 방정식(D-FBJPE)을 도입한다.
• 점프 파라미터와 지연된 제어 입력 간의 상관관계를 분리하기 위해 d단계 후진 공식을 제안한다.
• 수정된 스토크라스틱 최대 원칙을 적용하여 최적성에 대한 필요 조건을 도출하고, 비용 상태와 상태 역학 간의 연결 고리를 설정한다.
• 최적 컨트롤러의 시간에 따라 변화하는 피드백 이득을 도출하는 새로운 유형의 결합된 차분 리카티 방정식을 유도한다.
• 역행 방식과 조건부 기대값을 활용하여 비용 상태를 현재 및 과거 상태의 함수로 표현함으로써, 명시적 컨트롤러 합성 가능하게 한다.
• 최적 제어 법칙 존재를 위한 핵심 조건으로 행렬 $ W_{l_{k-d}} $ 의 가역성을 확립한다.

실험 결과

연구 질문

• RQ1 제어 입력이 랜덤 지연을 겪는 이산시간 MJLS에서 최적 제어는 어떻게 달성할 수 있는가?
• RQ2 마르코프 점프 파라미터와 제어 입력 지연이 동시에 존재할 경우를 다루기 위해 어떤 수학적 기법이 필요한가?
• RQ3 이러한 시스템에 대해 최적 컨트롤러 존재에 대한 필요 및 충분 조건을 닫힌 형태로 도출할 수 있는가?
• RQ4 제어 입력 지연과 마르코프 스위칭이 존재하는 상황에서 비용 상태는 시스템 상태와 어떻게 관련되는가?
• RQ5 최적 컨트롤러의 구조는 어떠한가? 그리고 그 피드백 이득은 어떻게 효율적으로 계산할 수 있는가?

주요 결과

• 최적 컨트롤러는 현재 상태와 이전 제어 입력의 선형 함수이며, 피드백 이득은 새로운 결합된 차분 리카티 방정식의 해로부터 도출된다.
• 최적 컨트롤러 존재는 모든 $ k $ 와 모드 $ l_{k-d} $ 에 대해 행렬 $ W_{l_{k-d}} $ 가 양의 정부호이어야만 보장된다.
• 비용 상태 $ \lambda_{k-1} $ 는 향후 상태의 조건부 기대값의 선형 조합으로 표현되며, 그 계수는 d단계 후진 공식에서 유도된다.
• 컨트롤러 구조는 시간에 따라 변화하는 이득 행렬을 통해 과거 제어 입력을 포함함으로써 제어 지연을 명시적으로 고려한다.
• 기존의 표준 MJLS 최적 제어 이론은 새로운 리카티 유형의 방정식계를 통해 지연 효과를 통합함으로써 일반화된다.
• 유도 과정은 마르코프 스위칭 하에서 지연 시스템을 해결하는 데 필수적인, 비용 상태와 실제 상태 간의 정확한 관계를 확립한다.