[논문 리뷰] Infinite-horizon Linear Optimal Control of Markov Jump Systems without Mode Observation via State Feedback

Maxim Dolgov, Uwe D. Hanebeck|arXiv (Cornell University)|2015. 01. 01.

Stability and Control of Uncertain Systems참고 문헌 24인용 수 4

한 줄 요약

이 논문은 상태 피드백을 사용하지만 모드 관측이 없는 마르코프 점프 선형 시스템(MJLS)에 대해 무한 수명 주기 선형 최적 제어 법칙을 제안한다. 일정 이득 선형 제어를 사용하여 필요 최적성 조건과 반복 알고리즘을 통해 안정화 이득을 계산하며, 수명 주기 조정이나 온라인 재최적화가 필요 없이 후행 수명 주기 방법에 비해 거의 동일한 성능을 달성한다.

ABSTRACT

In this paper, we consider stochastic optimal control of Markov Jump Linear Systems with state feedback but without observation of the jumping parameter. The proposed control law is assumed to be linear with constant gains that can be obtained from the necessary optimality conditions using an iterative algorithm. The proposed approach is demonstrated in a numerical example.

연구 동기 및 목표

• 점프 모드가 관측되지 않을 경우 발생하는 최적 제어 문제를 다루며, 이는 일반적으로 최적 해가 계산적으로 비가능한 상황이다.
• 수명 주기 조정 프레임워크나 수명 주기 파rameter 선택이 필요 없이, 무한 수명 주기 비용 함수를 최소화하는 시간 불변 선형 제어 법칙(일정 이득)을 개발한다.
• 해밀턴-자비-벨리만 방정식에서 유도된 필요 조건을 통해 안정성과 최적성을 확보하고, 반복 알고리즘을 통해 이를 해결한다.
• 제안된 제어기는 단순성과 고정된 구조에도 불구하고, 시간 변화하는 후행 수명 주기 제어기와 거의 동일한 성능을 달성한다.

제안 방법

• 모드에 따라 달라지는 행렬 A_θ, B_θ, H_θ와 평균이 0인 i.i.d. 가우시안 노이즈(공분산 W)를 갖는 MJLS 동역학을 수립한다.
• 모드에 따라 달라지는 준정적 행렬 Q_θ와 정적 행렬 R_θ를 포함하는 무한 수명 주기 평균 비용 함수를 정의한다.
• 제어 법칙이 일정 이득을 갖는 선형 구조를 가정함으로써, 필요 최적성 조건을 도출하고 고정점 방정식을 유도할 수 있도록 한다.
• 크로네cker 곱과 벡터화 연산자를 사용하여 결합된 리카티 유사 방정식을 벡터화된 형태로 변환하여 ψ_k+1 = M ψ_k + ρ_k 형태의 선형 시스템으로 표현한다.
• 행렬 M의 스펙트럼 반경이 1 미만임을 보장함으로써 수축 사상 수렴성을 확보하여 유일한 고정점이 존재함을 보장한다.
• 스펙트럼 반경의 매끄럽고 볼록한 근사값(μ_ε(A))을 사용하여 안정성 테스트를 수립하고 제어기 이득을 최적화하며, 이는 기울기 기반 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 모드 관측이 없는 무한 수명 주기 MJLS 제어에서 시간 불변, 일정 이득 선형 제어기가 거의 최적 성능을 달성할 수 있는가?
• RQ2 유한 최적화 수명 주기 선택 없이도 최적 제어기 이득을 계산할 수 있는가?
• RQ3 모드 관측이 없는 조건 하에서 최적 제어 법칙의 안정성과 수렴성을 어떻게 보장할 수 있는가?
• RQ4 시스템 행렬 M의 스펙트럼 반경과 반복 알고리즘에서 고유한 고정점 존재성 간의 관계는 무엇인가?
• RQ5 스펙트럼 반경의 매끄럽고 볼록한 근사값이 모드 정보 부재 상황에서 제어기 이득의 효율적이고 안정적인 최적화를 가능하게 하는가?

주요 결과

• 제안된 제어기는 수명 주기 파rameter가 없고 고정 이득을 사용함에도 불구하고, 이전 연구에서 제안된 시간 변화하는 후행 수명 주기 제어기와 거의 동일한 성능을 달성한다.
• 수렴성은 시스템 행렬 M이 스펙트럼 반경이 1 미만일 경우 수축 사상이 되므로 고유한 고정점으로 수렴함을 보장한다.
• 안정성 테스트는 M의 스펙트럼 반경을 최소화하는 최적화 문제로 제시되며, 이는 닫힌 루프 시스템의 평균 제곱 안정성을 보장한다.
• 스펙트럼 반경의 매끄럽고 볼록한 근사값 μ_ε(A)를 사용함으로써 기울기 기반 최적화가 가능해지며, ε → 0일 때 진짜 스펙트럼 반경으로 수렴한다.
• 선형 제어 법칙을 가정함으로써 차원의 저주와 이중 효과 문제를 피하여 계산적으로 가능해지면서도 높은 성능를 유지한다.
• 수치 결과는 제어기 이득의 수렴과 비용 함수의 안정화를 확인하며, 실용적인 MJLS 예제에서 이 방법의 효과성을 입증한다.