[논문 리뷰] Identifying nonlinear dynamical systems with multiple time scales and long-range dependencies

Dominik Schmidt, Georgia Koppe외 3명|arXiv (Cornell University)|2019. 10. 08.

Neural dynamics and brain function참고 문헌 66인용 수 10

한 줄 요약

이 논문은 비선형 동역계에서 장거리 의존성과 다중 시간 스케일을 안정적으로 포착하기 위해 다양한 매니폴드 흡인점 정규화를 사용하는 정규화된 조각별 선형 RNN(rPLRNN)을 제안한다. 일부 은닉 상태 공간에서 평면 흡인점을 강제화함으로써, 표준 ReLU RNN이 높은 정확도로 복잡한 동역학을 재구성할 수 있게 되며, 표준 RNN보다 우수하고 LSTM과 유사한 성능을 내며도 해석 가능성과 해석 가능성 유지한다.

ABSTRACT

A main theoretical interest in biology and physics is to identify the nonlinear dynamical system (DS) that generated observed time series. Recurrent Neural Networks (RNNs) are, in principle, powerful enough to approximate any underlying DS, but in their vanilla form suffer from the exploding vs. vanishing gradients problem. Previous attempts to alleviate this problem resulted either in more complicated, mathematically less tractable RNN architectures, or strongly limited the dynamical expressiveness of the RNN. Here we address this issue by suggesting a simple regularization scheme for vanilla RNNs with ReLU activation which enables them to solve long-range dependency problems and express slow time scales, while retaining a simple mathematical structure which makes their DS properties partly analytically accessible. We prove two theorems that establish a tight connection between the regularized RNN dynamics and its gradients, illustrate on DS benchmarks that our regularization approach strongly eases the reconstruction of DS which harbor widely differing time scales, and show that our method is also en par with other long-range architectures like LSTMs on several tasks.

연구 동기 및 목표

• 모델의 단순성이나 역학적 해석 가능성에 손상을 주지 않으면서 표준 RNN의 기울기 소실/폭발 문제를 해결한다.
• 최소한의 아키텍처 수정으로 시간 스케일이 크게 다른 비선형 동역계를 재구성할 수 있도록 한다.
• 주요 역학적 성질(예: 고정점, 흡인점)을 분석적으로 분석할 수 있는 수학적으로 해석 가능한 RNN 프레임워크를 제공한다.
• 매니폴드 흡인점(평면 또는 직선)으로의 정규화가 느린 시간 스케일과 장거리 의존성을 학습하는 데 향상된 효과를 보임을 입증한다.
• LSTM과 유사한 성능을 달성하면서도 표준 RNN의 단순성과 해석 가능성 유지한다.

제안 방법

• RNN의 일부 은닉 상태가 평면 흡인점 위에 위치하도록 제약하는 정규화 기법을 제안하여 장기 동역학을 안정화시킨다.
• 수학적 해석 가능성과 역학적 특성에 대한 분석적 접근을 보장하기 위해 ReLU 활성화 함수를 사용하는 조각별 선형 RNN(PLRNN)을 사용한다.
• 손실 함수에 저차원 부분공간(예: 평면)에서의 이탈을 방지하는 정규화 항을 도입하여, 효과적으로 약간 안정된 매니폴드를 생성한다.
• 정규화된 RNN의 역학과 기울기 간의 엄밀한 연결 고리를 수학적으로 증명하여, 정규화가 기울기 소실 또는 폭발을 방지함을 보여준다.
• ECG 유사 신호, 로렌츠 시스템 등 빠른 성분과 느린 성분을 동시에 포함하는 동역계에 대해 이 방법을 적용하고, 표준 RNN, LSTM, 직교/가중치 정규화 변형과의 성능을 비교한다.
• 다양한 주파수 대역과 정규화 강도에서 재구성 품질을 정량적으로 평가하기 위해 전력 스펙트럼 간의 KL 발산과 MSE를 사용한다.

실험 결과

연구 질문

• RQ1 적절히 정규화된 경우, ReLU 활성화 함수를 사용하는 단순한 비게이팅 RNN 아키텍처가 시간 스케일이 크게 다른 비선형 동역계를 재구성할 수 있는가?
• RQ2 은닉 상태 공간의 일부에 매니폴드 흡인점(평면 또는 직선)을 강제로 도입함으로써 기울기 안정성과 장거리 의존성 학습이 아키텍처의 복잡성 없이 가능해지는가?
• RQ3 재구성 정확도와 안정성 측면에서 표준 L2, 직교성, 또는 전체 가중치 정규화와 비교해 볼 때, 제안된 정규화 방식은 어떻게 성능을 내는가?
• RQ4 rPLRNN는 느린 동역학(예: ECG의 T파)과 빠른 일시적 성분(예: 스파이크)을 동시에 얼마나 잘 복원할 수 있는가?
• RQ5 LSTM과 유사한 성능를 달성하면서도 분석 가능성을 유지하고 파rameter 수를 줄일 수 있는가?

주요 결과

• rPLRNN는 훨씬 적은 학습 가능한 파라미터를 가짐에도 불구하고, 순차적 MNIST와 ECG 유사 동역계에서 LSTM과 유사한 재구성 성능를 달성한다.
• 진짜와 생성된 상태공간 분포 간의 KL 발산은 중간 정도의 정규화 강도 τ에서 최소가 되며, 다양한 τ 값 범위에서 성능가 안정되어 있어 강건성을 보여준다.
• 표준 L2 정규화 PLRNN(L2fPLRNN)와 직교성 정규화 PLRNN(oPLRNN)는 느린 동역학에 필수적인 매니폴드 흡인점의 구조를 파괴하여 복잡한 동역학을 재구성하지 못한다.
• rPLRNN는 ECG 유사 신호에서 빠른(스파이크 유사) 성분과 느린(T파 유사) 성분을 모두 성공적으로 포착하며, 고주파 성분에 대해 정규화된 MSE가 0.15 이하, 저주파 성분에 대해 0.10 이하로 유지된다.
• 로렌츠 흡인점과 같은 혼돈 시스템의 정확한 재구성을 가능하게 하며, rPLRNN는 진짜 시스템의 상태공간 진동을 정확히 따라가는 궤적을 생성한다.
• LSTM이 rPLRNN와 동일한 파라미터 수(M/4)를 가질 경우에도 rPLRNN가 평균적으로 더 뛰어난 성능를 보이며, 이는 동역계 재구성에서 더 뛰어난 샘플 효율성과 일반화 능력을 지닌다는 것을 시사한다.