[논문 리뷰] Spectral Filtering for General Linear Dynamical Systems

Elad Hazan, Holden Lee외 3명|arXiv (Cornell University)|2018. 02. 12.

Control Systems and Identification참고 문헌 11인용 수 19

한 줄 요약

이 논문은 잠재 상태가 있는 일반 선형 동적 시스템(LDS)에서 온라인 예측을 위한 다항식 시간 알고리즘을 제안한다. 비대칭 전이 행렬을 다루기 위해 새로운 볼록 리 릴랙션을 사용한 스펙트럴 필터링을 통해, 스펙트럴 반경에 대한 의존성을 제거함으로써, 악성 노이즈와 일반적인 시스템 동역학 하에서 효율적인 학습을 가능하게 한다. $Õ(\sqrt{T})$의 리그레트를 달성한다.

ABSTRACT

We give a polynomial-time algorithm for learning latent-state linear dynamical systems without system identification, and without assumptions on the spectral radius of the system's transition matrix. The algorithm extends the recently introduced technique of spectral filtering, previously applied only to systems with a symmetric transition matrix, using a novel convex relaxation to allow for the efficient identification of phases.

연구 동기 및 목표

• 잠재 상태가 있고 동역학이 알려져 있지 않은 일반 선형 동적 시스템(LDS)에서 온라인 예측을 위한 증명 가능하게 효율적인 알고리즘을 개발하는 것.
• 이전의 스펙트럴 필터링 방법이 대칭 전이 행렬을 요구하여 일반(비대칭) LDS에 실패하는 한계를 극복하는 것.
• 리그레트 한계에서 스펙트럴 반경 $\rho(A)$에 대한 의존성을 제거하여, 불안정하거나 악조건인 시스템에서도 강건한 성능을 달성하는 것.
• 지난 작업에서 사용된 지수 시간 이산화 방법을 피하는 다항식 시간 해법을 제공하며, 최적의 리그레트 보장을 갖는 것.
• LDS에서 위상과 매개변수를 동시에 식별하기 위한 새로운 볼록 리 릴랙션을 수립하여, 비볼록 설정에서의 리그레트 최소화에 적용 가능하게 하는 것.

제안 방법

• 복소수 고유값의 위상과 시스템 매개변수를 동시에 식별할 수 있도록 하는 새로운 볼록 리 릴랙션을 도입하여, 비볼록 LDS 설정에서의 효율적 학습을 가능하게 한다.
• 잠재 상태 차원 $d$의 자동회귀 시간 윈도우를 사용하여 과거 입력과 출력에 대한 의존성을 모델링함으로써, 노이즈와 복잡한 동역학에 대한 강건성을 향상시킨다.
• 입력-출력 데이터에서 구성된 헨켈 행렬에 스펙트럴 필터링을 적용하며, 위상 인식 분해를 통해 복소수 고유값을 처리하도록 적응시킨다.
• 고유구조에서 유도된 저질서 부분공간을 사용하여 인파르스 응답을 근사하는 웨이브 필터링 방법을 적용하며, 고유값이 복소수일 경우에도 적용 가능하다.
• 가짜-LDS 예측기와 리그레트 최소화를 조합하여, 평균 제곱오차 기준으로 최적의 LDS에 가까운 예측을 보장한다.
• 시스템 관련 다항식의 노름을 사용하여 자동회귀 근사의 오차를 경계함으로써 안정성과 수렴성을 확보한다.

실험 결과

연구 질문

• RQ1 스펙트럴 필터링을 복소수 고유값을 가진 일반(비대칭) 선형 동적 시스템으로 확장할 수 있는가?
• RQ2 비볼록 LDS 학습에서 고유위상과 시스템 매개변수를 동시에 식별할 수 있는 볼록 리 릴랙션을 설계할 수 있는가?
• RQ3 스펙트럴 반경 $\rho(A)$에 대한 의존성이 없이 다항식 시간 알고리즘이 $\tilde{O}(\sqrt{T})$ 리그레트를 달성할 수 있는가?
• RQ4 크기가 $d$인 자동회귀 모델이 잠재 상태와 복잡한 동역학을 가진 일반 LDS를 얼마나 잘 근사할 수 있는가?
• RQ5 악성 노이즈 하에서 온라인 LDS 예측의 근사 오차와 리그레트 사이의 상충 관계는 어떠한가?

주요 결과

• 알고리즘은 $\mathsf{Regret}(T) \leq \tilde{O}(\sqrt{T}) + K \cdot L$의 리그레트 한계를 달성하며, $L$은 악성 외란으로 인한 피할 수 없는 손실이고 $K$는 시스템 차원과 노름에 다항식적으로 의존한다.
• 리그레트는 스펙트럴 반경 $\rho(A)$에 영향을 받지 않으며, 이는 이전 방법이 $\tilde{O}(1/(1-\rho(A)))$ 의존성을 요구했던 것과 대비되는 핵심적 개선이다.
• 실행 시간은 모든 자연적 매개변수에 대해 다항식이므로, 일반 LDS 예측에 대해 이와 같은 보장을 갖는 최초의 효율적 알고리즘이다.
• 자동회귀 모델의 근사 오차는 시스템 관련 다항식의 노름으로 경계되며, 이는 안정성과 수렴성을 보장한다.
• 전이 행렬 $A$가 비대칭이거나 복소수 고유값을 가질 경우에도 알고리즘은 $\tilde{O}(\sqrt{T})$ 리그레트를 달성하여, 이전 스펙트럴 필터링의 주요 한계를 극복한다.
• 이론적 분석은 알고리즘의 오차가 $\tilde{O}(\sqrt{T})$ 항에 의해 지배되며, 노이즈에 의존하는 항 $O(R_{\infty}^2 \tau^3 R_{\Theta}^2 R_{\Psi}^2 L)$으로 구성됨을 확인한다. 모든 상수는 시스템 매개변수에 다항식적으로 의존한다.