[논문 리뷰] On the Sample Complexity of Stabilizing LTI Systems on a Single Trajectory

Hu Yang, Adam Wierman외 1명|arXiv (Cornell University)|2022. 02. 15.

Advanced Control Systems Optimization인용 수 4

한 줄 요약

이 논문은 상태 차원 n에 대해 선형적으로 증가하는 기존 방법과는 달리, 불안정 고유값의 수 k에 대해 \\tilde{O}(k)개의 샘플만으로도 단일 궤적을 따라 알려지지 않은 선형 시간 불변(LTI) 시스템을 안정화하는 스펙트럼 분해 기반의 새로운 알고리즘을 제안한다. 불안정 부분공간 내에서의 동역학 학습에 집중함으로써, 이 방법은 비선형 샘플 복잡도를 달성하고 상태 노름의 증가를 2^{\\tilde{O}(k)}로 제한하여, 기존의 상태 차원 n에 대해 선형적으로 증가하고 상태 노름이 지수적으로 증가하는 방법보다 크게 향상시킨다.

ABSTRACT

Stabilizing an unknown dynamical system is one of the central problems in control theory. In this paper, we study the sample complexity of the learn-to-stabilize problem in Linear Time-Invariant (LTI) systems on a single trajectory. Current state-of-the-art approaches require a sample complexity linear in $n$, the state dimension, which incurs a state norm that blows up exponentially in $n$. We propose a novel algorithm based on spectral decomposition that only needs to learn "a small part" of the dynamical matrix acting on its unstable subspace. We show that, under proper assumptions, our algorithm stabilizes an LTI system on a single trajectory with $ ilde{O}(k)$ samples, where $k$ is the instability index of the system. This represents the first sub-linear sample complexity result for the stabilization of LTI systems under the regime when $k = o(n)$.

연구 동기 및 목표

• 사전에 안정화 컨트롤러에 대한 지식이 없이도 알려지지 않은 LTI 시스템을 안정화하는 데 초점을 맞춘다.
• 기존 최고 수준의 방법들이 상태 차원 n에 대해 선형 복잡도를 보였던 것과는 달리, 학습-안정화 알고리즘의 샘플 복잡도를 n에 대해 선형 이하로 낮춘다.
• 학습 중에 상태 노름의 급격한 증가를 최소화한다. 현재의 방법들은 상태 차원 n에 대해 지수적으로 증가하며 고차원 시스템에 대한 적용 가능성을 제한한다.
• 특히 불안정 부분공간에만 집중하여 시스템 동역학의 필수 부분만 학습함으로써, 더 적은 샘플로 효율적인 안정화를 가능하게 하는 방법을 개발한다.

제안 방법

• 시스템 행렬 A의 스펙트럼 분해를 수행하여, 고유값의 절댓값이 1보다 큰 것들에 대응하는 고유벡터들로 생성되는 불안정 부분공간 Eu를 분리한다.
• A가 Eu에 제한된 효과적인 동역학에만 집중하여 학습하며, 이는 오직 O(k)개의 파rameter를 추정하는 데에 필요한 것이다.
• 세 단계 과정을 사용한다: (1) 상태가 Eu에 투영된 값이 충분히 크게 될 때까지 단일 궤적을 따라 데이터를 수집한다, (2) 불안정 부분공간에서의 최소 제곱법을 사용해 제한된 동역학 행렬을 추정한다, (3) 추정된 불안정 동역학 기반으로 안정화 컨트롤러를 설계한다.
• 컨트롤러는 전체 시스템 식별을 피하기 위해 불안정 고유모드를 직접 타겟으로 하는 τ-호프 정책을 통해 설계된다.
• 집중 경계와 유니온 경계를 사용하여 이론적 보장을 도출하였으며, 미묘한 가정 하에 적절한 초기 상태를 샘플링할 확률이 높다는 것을 보였다(1 - O(k^{-ℓ})).
• 알고리즘은 매개변수를 동적으로 조정한다: 수렴 오차가 허용 가능한 수준이 되는 최소 t₀를 선택하고, 컨트롤러 안정성을 확보하기 위한 최소 τ를 설정하며, 불안정 성분이 충분히 증가하면 가열 단계를 조기에 종료한다.

실험 결과

연구 질문

• RQ1 상태 차원 n에 대해 지수적으로 증가하는 상태 노름을 유발하지 않으면서, 단일 궤적을 따라 알려지지 않은 LTI 시스템을 안정화할 수 있는가?
• RQ2 상태 차원 n에 대해 비선형 샘플 복잡도를 달성할 수 있는가? 특히 불안정 모드의 수 k가 n보다 훨씬 작을 경우에 대해.
• RQ3 전체 시스템 행렬 A를 학습하지 않고 불안정 부분공간에만 집중함으로써 안정화를 보장할 수 있는가?
• RQ4 사전에 안정화 컨트롤러가 알려져 있지 않은 상황에서 LTI 시스템을 안정화하기 위해 필요한 최소 샘플 수는 얼마인가?

주요 결과

• 제안된 알고리즘은 불안정 고유값의 수 k에 대해 단일 궤적을 따라 오직 \\tilde{O}(k)개의 샘플만으로 LTI 시스템을 안정화한다.
• 학습 중 상태 노름은 2^{\\tilde{O}(k)}로 증가하며, k ≪ n일 경우 기존 방법에서 관찰된 2^{O(n)} 증가보다 지수적으로 작다.
• 이러한 성능 향상은 불안정 부분공간 Eu에 제한된 동역학만 학습함으로써 달성되며, 이는 학습 차원을 n에서 k로 줄이는 데 기여한다.
• 학습을 시작할 수 있는 초기 상태를 성공적으로 샘플링할 확률은 최소 1 - O(k^{-ℓ}) 이상이며, 이는 실용적인 k 값에 대해 매우 높은 확률이다.
• 수치 실험 결과, 단순한 시스템 식별 및 펄-플레이스먼트 접근 방식에 비해 알고리즘이 훨씬 적은 실행 단계를 필요로 하며, 훨씬 작은 상태 노름을 유도하는 것으로 확인되었다.
• 이 방법은 추가적인 가우시안 노이즈에 대해 강건하며, 요구되는 단계 수가 다소 증가할 뿐이며, 불안정 성분의 지수적 증가로 인해 노이즈는 후속 단계에서 무시할 수준이 된다.