[논문 리뷰] Learning Without Mixing: Towards A Sharp Analysis of Linear System Identification

Max Simchowitz, Horia Mania외 3명|arXiv (Cornell University)|2018. 02. 22.

Control Systems and Identification인용 수 116

한 줄 요약

이 논문은 의사최소제곱법(OLS)이 의존 데이터에 대한 일반화된 작은 볼츠 방법을 활용하여 단일 궤적으로 선형 동적 시스템을 식별하는 데 거의 최적 최소극(minimax) 속도를 달성한다는 것을 증명한다. 혼합 시간(Mixing-time) 인자를 사용하지 않는다.

ABSTRACT

We prove that the ordinary least-squares (OLS) estimator attains nearly minimax optimal performance for the identification of linear dynamical systems from a single observed trajectory. Our upper bound relies on a generalization of Mendelson's small-ball method to dependent data, eschewing the use of standard mixing-time arguments. Our lower bounds reveal that these upper bounds match up to logarithmic factors. In particular, we capture the correct signal-to-noise behavior of the problem, showing that more unstable linear systems are easier to estimate. This behavior is qualitatively different from arguments which rely on mixing-time calculations that suggest that unstable systems are more difficult to estimate. We generalize our technique to provide bounds for a more general class of linear response time-series.

연구 동기 및 목표

• 단일 궤적에서 선형 시스템 식별의 샘플 복잡성 연구를 동기 부여한다.
• 시스템 동역학이 제어 가능성 그라미안( controllability Gramian)을 통해 추정 속도에 어떤 영향을 미치는지 특징지운다.
• 모듈러 안정(marginally stable) 구간에서의 OLS에 대한 근사최대-최소 상한(상한) 근사(ρ(A*) ≤ 1)를 제공한다.
• 상한과 같은 수준으로 로깅 인자를 포함한 하한을 제시하여 신호 대 잡음의 거동을 밝힌다.
• 선형 응답의 더 넓은 계급에 기법을 확장한다.

제안 방법

• 시스템을 X_{t+1}=A_*X_t+η_t 로 모델링하고 η_t ~ N(0, σ^2 I)로 가정한다.
• OLS 추정량을 분석한다:           | Â(T)=argmin_A ∑_{t=1}^T 1/2 ||X_{t+1}-AX_t||_2^2.
• 유한 시간 제어 가능성 그라미언 Γ_T = ∑_{s=0}^{T-1} A_*^s (A_*^s)^T 로 표현하고 이를 바운딩한다.
• 의존 데이터에 대해 k-블록 마르코프 작은 볼(ball)(BMSB) 조건으로 Mendelson의 작은 볼 방법을 일반화한다.
• 최소 고유값 λ_min(Γ_k)를 추정 오차 규모와 연동시켜 고확률 경계를 도출한다.
• 선형 응답에 대한 일반 정리(정리 2.4)를 제시하여 마르코이드 작은 볼 조건과 연결한다.
• 특정 시스템 클래스(스칼라, 스케일된 직교, 대각화 가능한)에 대해 보조정리를 적용한다.

실험 결과

연구 질문

• RQ1 하나의 궤적에서 A_*를 고확률로 연산자 노름으로 추정하는 데 필요한 샘플 수는 얼마인가?
• RQ2 유한 시간 제어 가능성 그라미안이 안정 및 모자란 안정 구간에서 추정 속도에 어떤 영향을 미치는가?
• RQ3 의존 데이터 설정에서 mixing-time 인자 없이 OLS가 최소-극 속도에 도달할 수 있는가?
• RQ4 다양한 시스템 구조(스칼라, 스케일된 직교, 대각화 가능)가 OLS의 속도와 상수에 어떤 영향을 주는가?
• RQ5 결과를 일반 선형 시계열로 확장할 수 있는가(동적 시스템 외의 선형 응답 포함)?

주요 결과

• OLS는 추정 오차가 T-의 함수로 λ_min(Γ_k)와 함께 1/√(T λ_min(Γ_k))의 규모로 증가한다는 상한을 보인다(로그 인자 포함).
• 상태가 모자란 완전히 안정한 A_*에 대해 이 경계는 혼합 시간 인자에 의존하지 않는다는 점에서 일반화된다.
• 안정 시스템의 경우 큰 T에 대해 블록 길이 의존성을 명시적으로 제거한 경계가 성립한다(Corollary 2.2).
• 추정 속도는 제어 가능성 그라미안의 고유값에 의존하며, 더 큰 λ_min(Γ_k)이 더 빠른 학습으로 이어진다.
• 일부 구간에서 하한은 로그 요인을 제외하고는 최소-최대 최적성(minimax optimality)을 보인다(정리 2.3).
• 마르마게(condition) 작은 볼을 가진 일반 시계열로도 이 프레임워크가 확장된다(정리 2.4).