[논문 리뷰] Identification and Adaptive Control of Markov Jump Systems: Sample Complexity and Regret Bounds

Yahya Sattar, Zhe Du외 4명|arXiv (Cornell University)|2021. 11. 13.

Control Systems and Identification인용 수 10

한 줄 요약

이 논문은 시스템 식별과 확실성 등가 제어를 사용하여 알려지지 않은 마르코프 점프 선형 시스템(MJS)에 대한 적응형 제어 프레임워크를 제안한다. 시스템 식별에 대해 최적의 $Ø(1/ar{\sqrt{T}})$ 표본 복잡도를 확립하고, 평균 제곱 안정성 하에서 $Ø(\sqrt{T})$의 위험 한계를 달성하며, 부분적인 시스템 지식이 있을 경우 $\mathrm{polylog}(T)$로 향상된다. 이는 하이브리드 동역학과 MJS의 더 약한 안정성 개념을 고려한 새로운 분석 기법을 통해 달성된다.

ABSTRACT

Learning how to effectively control unknown dynamical systems is crucial for intelligent autonomous systems. This task becomes a significant challenge when the underlying dynamics are changing with time. Motivated by this challenge, this paper considers the problem of controlling an unknown Markov jump linear system (MJS) to optimize a quadratic objective. By taking a model-based perspective, we consider identification-based adaptive control of MJSs. We first provide a system identification algorithm for MJS to learn the dynamics in each mode as well as the Markov transition matrix, underlying the evolution of the mode switches, from a single trajectory of the system states, inputs, and modes. Through martingale-based arguments, sample complexity of this algorithm is shown to be $\mathcal{O}(1/\sqrt{T})$. We then propose an adaptive control scheme that performs system identification together with certainty equivalent control to adapt the controllers in an episodic fashion. Combining our sample complexity results with recent perturbation results for certainty equivalent control, we prove that when the episode lengths are appropriately chosen, the proposed adaptive control scheme achieves $\mathcal{O}(\sqrt{T})$ regret, which can be improved to $\mathcal{O}(polylog(T))$ with partial knowledge of the system. Our proof strategy introduces innovations to handle Markovian jumps and a weaker notion of stability common in MJSs. Our analysis provides insights into system theoretic quantities that affect learning accuracy and control performance. Numerical simulations are presented to further reinforce these insights.

연구 동기 및 목표

• 스위칭 동역학을 갖는 알려지지 않은 마르코프 점프 선형 시스템(MJS)에 대한 비점근적 학습 보장을 부족한 문제를 해결하기 위해.
• 평균 제곱 안정성 하에서 단일 궤적에서 모드별로 구분된 동역학과 마르코프 전이 행렬을 추정하는 시스템 식별 알고리즘을 개발하기 위해.
• 에피소드 기반 학습을 위한 시스템 식별과 확실성 등가 제어를 통합한 적응형 제어 기법을 설계하기 위해.
• 적응형 제어 정책에 대해 날카로운 위험 한계를 확립하여 궤적 길이 $T$에서 최적성을 보여주기 위해.
• MJS에서 학습 및 제어 성능에 영향을 주는 시스템 이론적 양(예: 혼합 시간, 스펙트럼 반경, 안정성 마진 등)에 대한 이론적 통찰을 제공하기 위해.

제안 방법

• 단일 궤적에서 상태, 입력, 모드를 기반으로 $s$개의 모드별 상태-입력 행렬 $(\mathbf{A}_i, \mathbf{B}_i)$와 마르코프 전이 행렬 $\mathbf{T}$를 추정하는 시스템 식별 알고리즘(알고리즘 1)을 제안한다.
• 혼합 시간 분석을 통해 $\mathcal{O}((n+p)\log T \sqrt{s/T})$의 표본 복잡도를 유도하며, 이는 로그 인자 외에는 최적이다.
• 에피소드 기반 적응형 제어 기법을 도입하여 각 에피소드에서 시스템 식별과 제어 업데이트를 수행한다. 이 기법은 확실성 등가 제어를 사용한다.
• 탐색과 이용의 균형을 맞추기 위해 시간에 따라 변화하는 에피소드 길이 정책 $T_i = \gamma T_{i-1}$를 적용한다.
• 확률 높은 농도 추정과 확실성 등가 제어의 변동 이론을 활용하여 평균 제곱 안정성 하에서 위험 한계를 유도한다.
• 하이브리드 성격과 더 약한 평균 제곱 안정성 개념을 다루기 위해 새로운 증명 전략을 도입하였으며, 이는 거의 확실히 수렴하지 않는다는 점을 고려한 것이다.

실험 결과

연구 질문

• RQ1 단일 궤적에서 알려지지 않은 마르코프 점프 선형 시스템의 동역학을 식별하는 데 있어 최적의 표본 복잡도는 무엇인가?
• RQ2 평균 제곱 안정성 하에서 마르코프 성격의 스위칭 동역학이 존재하는 상황에서 적응형 제어 정책이 비선형 위험을 달성할 수 있는가?
• RQ3 혼합 시간, 스펙트럼 반경, 안정성 마진과 같은 시스템 이론적 양은 MJS에서 학습 및 제어 성능에 어떻게 영향을 주는가?
• RQ4 부분적인 시스템 지식이 있을 경우 위험 한계를 $\mathcal{O}(\sqrt{T})$에서 $\mathcal{O}(\mathrm{polylog}(T))$로 향상시킬 수 있는가?
• RQ5 정규화되지 않은 안정성과 모드 스위칭의 존재로 인해 MJS의 학습 및 제어 분석에서 발생하는 주요 과제는 무엇인가?

주요 결과

• 시스템 식별 알고리즘이 $\mathcal{O}((n+p)\log T \sqrt{s/T})$의 표본 복잡도를 달성하며, 궤적 길이 $T$에 대해 $\mathcal{O}(1/\sqrt{T})$의 의존성을 가지며, 이는 로그 인자 외에는 최적이다.
• 제안된 적응형 제어 기법은 평균 제곱 안정성 하에서 확률 $1 - \delta$로 $\mathcal{O}(\sqrt{T})$의 위험 한계를 달성한다.
• 부분적인 시스템 지식이 있을 경우 위험 한계는 $\mathcal{O}(\mathrm{polylog}(T))$로 향상되며, 사전 지식의 이점이 입증된다.
• 분석 결과, 안정성 마진 $\bar{\theta}$, 노이즈 분산 $\sigma_{\mathbf{w}}^2$, 최소 정적 확률 $\pi_{\min}$ 등이 위험 스케일링에 크게 영향을 준다.
• 증명 프레임워크는 MJS의 하이브리드 동역학과 비결정적 안정성을 효과적으로 다루었으며, 이 클래스 시스템에 대해 최초로 비점근적 위험 보장을 제공한다.
• 수치 시뮬레이션은 이론적 통찰을 검증하며, 적응형 컨트롤러가 최적 성능으로 수렴하고 위험 척도가 예측된 바와 같이 스케일링됨을 보여준다.