[논문 리뷰] Learning nonlinear dynamical systems from a single trajectory

Dylan J. Foster, Alexander Rakhlin외 1명|arXiv (Cornell University)|2020. 04. 30.

Receptor Mechanisms and Signaling참고 문헌 42인용 수 24

한 줄 요약

이 논문은 단일 궤적에서 형태 $x_{t+1} = \sigma(\Theta^\star x_t) + \varepsilon_t$의 비선형 동적 시스템을 학습하기 위한 계산적으로 효율적인 알고리즘을 제안한다. 이 알고리즘은 최적의 표본 복잡도와 선형 런타임을 달성하며, 잘 조절된 상태 공분산을 보장하기 위한 전역 안정성 조건을 수립한다. 또한 일반화된 선형 모델 학습을 의존성 있는 데이터에 확장하여, 스펙트럼 노름에 대한 제약 없이 $\Theta^\star$를 복구할 수 있고, ReLU와 같은 엄밀히 증가하지 않는 링크 함수에도 적용 가능하다.

ABSTRACT

We introduce algorithms for learning nonlinear dynamical systems of the form $x_{t+1}=σ(Θ^{\star}x_t)+\varepsilon_t$, where $Θ^{\star}$ is a weight matrix, $σ$ is a nonlinear link function, and $\varepsilon_t$ is a mean-zero noise process. We give an algorithm that recovers the weight matrix $Θ^{\star}$ from a single trajectory with optimal sample complexity and linear running time. The algorithm succeeds under weaker statistical assumptions than in previous work, and in particular i) does not require a bound on the spectral norm of the weight matrix $Θ^{\star}$ (rather, it depends on a generalization of the spectral radius) and ii) enjoys guarantees for non-strictly-increasing link functions such as the ReLU. Our analysis has two key components: i) we give a general recipe whereby global stability for nonlinear dynamical systems can be used to certify that the state-vector covariance is well-conditioned, and ii) using these tools, we extend well-known algorithms for efficiently learning generalized linear models to the dependent setting.

연구 동기 및 목표

• 단일 관측 궤적에서 비선형 동적 시스템을 학습하기 위한 효율적인 알고리즘을 개발하는 것.
• 가중치 행렬 $\Theta^\star$를 복구할 때 최적의 표본 복잡도와 선형 실행 시간을 달성하는 것.
• $\Theta^\star$에 대한 가정을 완화하여 스펙트럼 노름에 대한 유한성 제약를 제거하고, ReLU와 같은 엄밀히 증가하지 않는 링크 함수를 위한 복구를 가능하게 하는 것.
• 비선형 시스템의 전역 안정성과 통계적 학습을 위한 잘 조절된 상태 공분산 간의 일반적 프레임워크를 수립하는 것.

제안 방법

• 전역 안정성을 활용하여 상태 벡터 공분산 행렬이 잘 조절되어 있음을 확인함으로써 효율적인 학습을 가능하게 하는 새로운 알고리즘을 제안한다.
• 스펙트럼 반경과 공분산 커널의 트레이스를 통해 시스템 안정성과 의존성 있는 데이터 설정에서의 경험 공분산의 가역성 간의 일반적 연결 고리를 제시한다.
• 시간적 의존성 하에서 오프셋 라데마처 복잡도를 분석함으로써 기존의 일반화된 선형 모델 학습 기법을 시간 시리즈 환경에 적응시킨다.
• 매개수 노름으로의 수렴을 보장하기 위해 철저히 선택된 스텝 크기 $\eta_t$를 사용하는 프로젝션 경사하강법 스타일의 갱신을 사용한다.
• 궤적 내 의존성 구조를 고려하여 $\varepsilon_t x_t^\top$를 포함하는 경험 과정을 유계로 만드는 데 농도 부등식과 체이닝 추론을 활용한다.
• 반복 수 $t$에 대해 $\|\Theta^{(t)} - \Theta^\star\|_F^2$에 대한 재귀 부등식을 유도하고, 통계 오차 항으로의 지수 감소를 보여주며, 유한 시간 수렴을 이끌어낸다.

실험 결과

연구 질문

• RQ1 단일 궤적에서 최적의 표본 복잡도와 선형 시간으로 비선형 동적 시스템의 가중치 행렬 $\Theta^\star$를 학습할 수 있는가?
• RQ2 왜 바닥에 대한 제약 없이 $\|\Theta^\star\|_2$의 스펙트럼 노름을 요구하지 않아도 되는가?
• RQ3 ReLU와 같은 엄밀히 증가하지 않는 링크 함수를 갖는 비선형 시스템으로 효율적인 학습 알고리즘을 확장할 수 있는가?
• RQ4 비선형 시스템의 전역 안정성이 경험 공분산이 학습을 위해 잘 조절되어 있음을 보장하는 데 어떻게 기여하는가?
• RQ5 매개수 노름에서 학습 알고리즘의 유한 표본 수렴 속도는 무엇이며, 이는 시스템 차원과 노이즈에 따라 어떻게 척도화되는가?

주요 결과

• 반복 수 $t \geq 8cB^2 e^{\frac{8\rho \mathsf{tr}(K)}{1-\rho}} \log\left(\frac{nW^4}{R^2 d^2 (\log(1/\delta) + \log(1 + 2n\sqrt{R}))}\right)$ 이후에 $\|\Theta^{(t)} - \Theta^\star\|_F^2 \leq 2c \cdot e^{\frac{8\rho \mathsf{tr}(K)}{1-\rho}} \cdot \frac{R^2 d^2 (\log(1/\delta) + \log(1 + 2n\sqrt{R}))}{nW^2}$ 를 만족한다.
• 수렴 속도는 스펙트럼 반경 $\rho$와 공분산 커널 $K$의 트레이스에 의존하며, 선형 경우의 스펙트럼 노름을 일반화한다.
• 이 방법은 $\|\Theta^\star\|_2$에 대한 유한성 제약 없이도 성공하며, 대신 $\rho$와 $\mathsf{tr}(K)$를 포함하는 일반화된 안정성 조건에 의존한다.
• 알고리즘은 딥러닝에서 흔한 ReLU와 같은 엄밀히 증가하지 않는 링크 함수에 대해 강건하며, 이는 이전 연구와 다릅니다.
• 표본 복잡도는 최적이며, 실행 시간은 단계 수 $n$에 대해 선형이므로 확장 가능하다.
• 분석을 통해 전역 안정성이 잘 조절된 상태 공분산을 암시하며, 이는 의존성 있는 데이터에서 통계적 일致성에 핵심적이다.