[논문 리뷰] Non-asymptotic and Accurate Learning of Nonlinear Dynamical Systems

Yahya Sattar, Samet Oymak|arXiv (Cornell University)|2020. 02. 20.

Model Reduction and Neural Networks참고 문헌 56인용 수 16

한 줄 요약

이 논문은 단일 유한 궤적에서 경사하강법을 사용하여 비선형 동적 시스템을 학습할 때의 비점근적 보장을 제시한다. 안정화 정책 하에서 혼합 시간 근거 분석을 통해 시간에 따라 종속된 샘플을 효과적인 i.i.d. 근사로 전환함으로써, 노이즈 민감한 균일 수렴 한계를 확보함으로써 비선형 동역학의 고정밀, 저표본 복잡도 학습이 가능해진다. 활성화 함수로는 요소별 비선형성(예: ReLU)을 사용한다.

ABSTRACT

We consider the problem of learning stabilizable systems governed by nonlinear state equation $h_{t+1}=ϕ(h_t,u_t;θ)+w_t$. Here $θ$ is the unknown system dynamics, $h_t $ is the state, $u_t$ is the input and $w_t$ is the additive noise vector. We study gradient based algorithms to learn the system dynamics $θ$ from samples obtained from a single finite trajectory. If the system is run by a stabilizing input policy, we show that temporally-dependent samples can be approximated by i.i.d. samples via a truncation argument by using mixing-time arguments. We then develop new guarantees for the uniform convergence of the gradients of empirical loss. Unlike existing work, our bounds are noise sensitive which allows for learning ground-truth dynamics with high accuracy and small sample complexity. Together, our results facilitate efficient learning of the general nonlinear system under stabilizing policy. We specialize our guarantees to entry-wise nonlinear activations and verify our theory in various numerical experiments

연구 동기 및 목표

• 단일 유한 궤적에서 비선형 동적 시스템을 학습할 때의 비점근적 표본 복잡도 문제를 다루는 것.
• 기존 연구에서 노이즈 의존성을 忽시한 바에 비해, 경험적 경사의 노이즈 민감한 균일 수렴 보장을 개선하는 것.
• 요소별 비선형 활성화(예: ReLU 포함)를 갖는 비선형 시스템에서 경사하강법의 수렴성 및 표본 복잡도 한계를 설정하는 것.
• 비선형 동적 시스템에 대한 수치 실험을 통해 이론적 결과를 검증하는 것.

제안 방법

• 안정화 입력 정책 하에서 혼합 시간 근거 분석을 활용하여 단일 궤적에서 유도된 시간에 종속된 샘플을 효과적인 i.i.d. 샘플로 근사한다.
• 노이즈를 명시적으로 고려한 새로운 균일 수렴 한계를 도입하여 경험적 손실의 경사에 대해 제시함으로써 고정밀 학습이 가능해진다.
• 선형 및 비선형 동적 시스템, 특히 ReLU와 같은 요소별 비선형 활성화를 갖는 시스템에 이 프레임워크를 적용한다.
• 시스템의 상태 전이 동역학의 농도 성질과 농도 부등식을 통해 표본 복잡도 한계를 유도한다.
• 시스템 안정성과 노이즈 수준에 따라 학습률이 결정되는 경사하강법 알고리즘을 사용하여 진짜 동역학으로 수렴함을 보장한다.
• 궤적 길이와 혼합 시간에 대한 확률적 한계를 활용하여 반복 계산값이 참값 매개변수로 고확률 수렴하도록 보장한다.

실험 결과

연구 질문

• RQ1 경사하강법은 단일 유한 궤적에서 비선형 동적 시스템을 비점근적, 고정밀로 학습할 수 있는가?
• RQ2 시스템 궤적의 시간적 종속성을 효과적으로 다루면 i.i.d.-유사 통계 보장을 어떻게 확보할 수 있는가?
• RQ3 분석 시 노이즈를 명시적으로 고려할 경우 비선형 동역학 학습의 최적 표본 복잡도는 무엇인가?
• RQ4 시스템의 혼합 시간 및 안정성 특성이 경사 기반 학습의 수렴성과 일반화에 어떤 영향을 미치는가?
• RQ5 요소별 비선형 활성화를 갖는 비선형 시스템 학습의 이론적 표본 및 반복 복잡도 한계는 무엇인가?

주요 결과

• 비선형 시스템 학습의 표본 복잡도는 $ N \gtrsim \frac{C_{\rho}^4}{\gamma^4(1-\rho)^4} \log^2(3(1+\sigma)n + 3C_{\rho}(1+\sigma)\|\bm{\Theta}_\star\|_F n^{3/2} \log^{3/2}(2T)N/(1-\rho) + 3)n $ 으로 유계이며, 이는 고확률 수렴을 보장한다.
• 근사 혼합 시간은 $ L = \left\lceil 1 + \frac{\log(CC_{\rho}(1+\|\bm{\Theta}_\star\|_F\beta_+)Nn)}{1-\rho} \right\rceil $ 로 주어지며, 이는 효과적인 i.i.d. 샘플링 창을 결정한다.
• 경사하강법 반복 계산값은 안정성 조건 하에서 수렴 속도 $ \left(1 - \frac{\gamma^4(1-\rho)^4}{512C_{\rho}^4n^2}\right)^\tau $ 로 선형 수렴을 보이며, 이는 빠른 수렴을 보장한다.
• 잔차 오차 항은 $ N \gtrsim \frac{C_{\rho}^4}{\gamma^4(1-\rho)^4} \log^2(\cdots)n $ 일 때 $ \lesssim \sigma $ 로 유계이며, 이는 노이즈가 존재하더라도 고정밀 학습이 가능함을 시사한다.
• 이론적 한계는 수치 실험을 통해 검증되었으며, ReLU 유형 비선형성을 갖는 시스템에서 이론적 예측과 실험 성능 간의 밀도 높은 일치를 보였다.
• 기존 연구에서 노이즈 민감도를 忽시한 바에 비해, 이 프레임워크는 시스템 매개변수와 노이즈에 대해 최적의 의존성을 확보하여 성능을 향상시켰다.