[논문 리뷰] Learning Linear Dynamical Systems via Spectral Filtering

Elad Hazan, Karan Singh외 1명|arXiv (Cornell University)|2017. 11. 02.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 5

한 줄 요약

이 논문은 대칭 전이 행렬을 가진 이산 시간 선형 동적 시스템(LDS)을 예측하기 위한 새로운 온라인 학습 알고리즘을 제안한다. 이는 시간 시리즈 데이터로부터 구성된 헨켈 행렬의 고유벡터를 통한 스펙트럼 필터링을 활용한다. 비볼록 시스템 식별 문제는 다항로그 인과 과도한 파arameterization을 통해 볼록 최적화 문제로 재구성되며, 안정성 가정이나 숨겨진 상태에 대한 지식 없이도 근사 최적의 손실 한계와 다항시간 수렴을 달성한다.

ABSTRACT

We present an efficient and practical algorithm for the online prediction of discrete-time linear dynamical systems with a symmetric transition matrix. We circumvent the non-convex optimization problem using improper learning: carefully overparameterize the class of LDSs by a polylogarithmic factor, in exchange for convexity of the loss functions. From this arises a polynomial-time algorithm with a near-optimal regret guarantee, with an analogous sample complexity bound for agnostic learning. Our algorithm is based on a novel filtering technique, which may be of independent interest: we convolve the time series with the eigenvectors of a certain Hankel matrix.

연구 동기 및 목표

• 전이 행렬 A가 대칭이면서 알려져 있지 않은 선형 동적 시스템(LDS)에서의 시스템 식별 문제를 해결한다.
• 기존의 EM과 같은 방법에서 이론적 보장을 방해하는 LDS 파라미터 추정의 본질적 비볼록성 문제를 극복한다.
• 숨겨진 상태나 안정성 제약 조건을 알 필요 없이 실용적이고 효율적인 온라인 시계열 예측 알고리즘을 개발한다.
• 조건 수에 관계없이 A의 조건 수에 의존하지 않는 다항시간 손실 및 표본 복잡도 보장을 달성한다. 특히 ||A|| = 1 인 경우에도 성립한다.
• 데이터가 LDS에 의해 생성된다고 가정하지 않고도 배치 설정에서 무지함 학습을 가능하게 하여 일반화 오차에 대한 보장을 제공한다.

제안 방법

• 시간 시리즈 데이터로부터 구성된 헨켈 행렬의 고유벡터를 기반으로 한 스펙트럼 필터링 기법을 사용한다.
• 비볼록 문제를 볼록 문제로 전환하기 위해 LDS 모델의 가설 클래스를 다항로그 인과 과도하게 파arameterization한다.
• 파형을 띠는 고유벡터와 시간 시리즈를 컨볼루션하는 웨이브 필터링 메커니즘을 적용한다. 이는 시스템 동역학을 포착한다.
• 손실 함수가 과도한 파arameterization 공간에서 볼록인 온라인 볼록 최적화 문제로 예측 문제를 재구성한다.
• 최근 헨켈 행렬의 스펙트럼 이론에서의 발전을 활용하여 필터링 연산의 근사 품질에 대한 이론적 보장을 확보한다.
• 농도 및 노름 부등식(예: ℓ1 및 ℓ2 노름)을 이용하여 손실 및 표본 복잡도 상한을 유도하며, μ(α)와 같은 특정 벡터의 ℓ1 및 ℓ2 노름에 대한 상한도 포함한다.

실험 결과

연구 질문

• RQ1 안정성 가정이나 알려진 숨겨진 상태가 없이도 대칭 전이 행렬을 가진 선형 동적 시스템에 대해 증명 가능하고 안정적인 예측을 달성할 수 있는가?
• RQ2 과도한 파arameterization을 통해 비볼록 시스템 식별 문제를 볼록 최적화 프레임워크로 전환할 수 있으며, 예측 정확도를 유지할 수 있는가?
• RQ3 기존의 EM 기반 또는 회귀 기반 접근법과 비교해 볼 때, 제안된 스펙트럼 필터링 방법은 손실 및 표본 복잡도 측면에서 어떻게 성능을 내는가?
• RQ4 스펙트럼 반경 가정 없이도 공격자에 의해 선택된 데이터나 무한차원 상태 공간에 대해서도 알고리즘이 일반화 가능한가?
• RQ5 헨켈 행렬의 고유벡터는 시스템 동역학을 어떻게 포착하는가? 이는 예측 오차 수렴과 어떤 관련이 있는가?

주요 결과

• 제안된 알고리즘은 온라인 예측에서 Õ(poly(n,m,d,log T)/√T)의 손실 한계를 달성하며, 이는 최적의 대칭 LDS 예측기와 거의 최적이다.
• 배치 학습 설정에서는 표본 복잡도 상한 Õ(poly(n,m,d,log T,log 1/ε))/√N을 제공하여, 고도의 확률로 일반화 오차가 ε 이내임을 보장한다.
• 조건 수에 독립적이며, ||A|| = 1 인 경우에도 기존의 회귀 기반 방법이 악화되는 불안정한 경우에도 작동한다.
• 알고리즘은 숨겨진 상태 h_t를 명시적으로 학습하지 않지만, 강력한 예측 성능을 달성한다.
• 테스트 데이터 및 물리적 시뮬레이션에서의 실험 결과는 본 방법이 예측 정확도에서 경쟁력이 있으며, 기존 알고리즘보다 더 안정적이고 훨씬 빠르다는 것을 보여준다.
• 이론적 분석은 헨켈 행렬의 고유벡터를 기반으로 한 웨이브 필터링 메커니즘이 필터 벡터의 ℓ1 및 ℓ2 노름을 유한하게 유지함으로써 농도 제어 및 손실 제어를 가능하게 한다는 것을 확인한다.