[논문 리뷰] Generalized Teacher Forcing for Learning Chaotic Dynamics

Florian Heß, Zahra Monfared외 2명|arXiv (Cornell University)|2023. 06. 07.

Neural Networks and Applications인용 수 7

한 줄 요약

논문은 Generalized Teacher Forcing(GTF)을 도입하여 혼돈 다ynamics에서 RNN 학습 시 그래디언트를 바운딩하고, 얕은 PLRNN으로 정확한 저차원 재구성을 가능하게 하며, 실제 데이터에서도 SOTA 방법을 능가한다.

ABSTRACT

Chaotic dynamical systems (DS) are ubiquitous in nature and society. Often we are interested in reconstructing such systems from observed time series for prediction or mechanistic insight, where by reconstruction we mean learning geometrical and invariant temporal properties of the system in question (like attractors). However, training reconstruction algorithms like recurrent neural networks (RNNs) on such systems by gradient-descent based techniques faces severe challenges. This is mainly due to exploding gradients caused by the exponential divergence of trajectories in chaotic systems. Moreover, for (scientific) interpretability we wish to have as low dimensional reconstructions as possible, preferably in a model which is mathematically tractable. Here we report that a surprisingly simple modification of teacher forcing leads to provably strictly all-time bounded gradients in training on chaotic systems, and, when paired with a simple architectural rearrangement of a tractable RNN design, piecewise-linear RNNs (PLRNNs), allows for faithful reconstruction in spaces of at most the dimensionality of the observed system. We show on several DS that with these amendments we can reconstruct DS better than current SOTA algorithms, in much lower dimensions. Performance differences were particularly compelling on real world data with which most other methods severely struggled. This work thus led to a simple yet powerful DS reconstruction algorithm which is highly interpretable at the same time.

연구 동기 및 목표

• chaotic dynamical systems를 시간 시리즈 데이터에서 재구성하는 것을 직관성 유지와 함께 추진한다.
• 혼돈 시스템에 대한 Lyapunov 지수 지식 없이도 RNN 학습에서 exploded gradient 문제를 다룬다.
• GTF와 얕은 PLRNN 아키텍처를 제안하여 faithful한 저차원 재구성을 가능하게 한다.
• 시뮬레이션과 실제 데이터 모두에서 SOTA 방법 대비 우수한 성능을 시연한다.

제안 방법

• 일반화된 교사 강제(GTF) 도입: z_t = F_theta(z_{t-1}^tilde) 와 z_t^tilde = (1-α) z_{t-1}^tilde + α z̄_{t-1} 로 야코비안 곱을 바운드한다.
• 혼돈 다이나믹스에서 Jacobian 곱 ∂z_t/∂z_r 가 유계로 남는 조건을 도출하고, 최적의 α* = 1 - 1/σ̃_max 를 포함한다.
• 얕은 PLRNN(shPLRNN) 아키텍처를 채택하고, 1-히든레이어 ReLU 네트워크 구조로 재구성 가능하며 dendPLRNN으로 변환 가능하고 계산적으로 다루기 쉽다.
• Backpropagation Through Time(BPTT)과 GTF(aGTF)를 결합해 학습하고, σ̃_max의 전체 지식 없이도 학습 중 α를 적응적으로 설정하는 전략을 사용한다.
• 데이터로부터 유도된 상태의 Jacobian 정보를 바탕으로 α를 추정하는 적응 전략을 사용하고 학습 중 α를 점진적으로 완화하여 안정성을 유지한다.
• 고정 GTF와 적응 GTF(aGTF)로 평가하고, 희소 TF, LSTM-TBPTT, RC, SINDy, Neural ODEs, LEM과 비교한다.

실험 결과

연구 질문

• RQ1 Generalized Teacher Forcing(GTF)가 혼돈 시계열에서 RNN 학습 시 손실 그래디언트를 arbitrarily 긴 horizon에서도 bound할 수 있는가?
• RQ2 GTF로 학습된 얕은 PLRNN이 저차원 잠재 공간에서 혼돈 다이나믹스를 충실히 재구성할 수 있는가(관찰된 시스템의 차원과 같거나 그 이하)?
• RQ3 GTF+얕은 PLRNN이 시뮬레이션 및 실제 데이터에서 기하학적 구성과 시간적 충실도 측면에서 SOTA DS 재구성 방법과 어떻게 비교되는가?
• RQ4 α 선택 및 적응과 같은 실용적 가이드라인이 Lyapunov 지수에 대한 사전 지식 없이도 안정적인 학습을 가능하게 하는가?
• RQ5 결과 모델은 재구성 다이나믹스의 불변 속성(끌개, 고정점, 순환 등)을 분석하는 해석 가능하고 다루기 쉬운가?

주요 결과

데이터세트	방법	D_stsp	D_H	PE(20)	차원	|θ|
ECG (5d)	shPLRNN + GTF	4.3 ± 0.6	0.34 ± 0.02	(2.4 ± 0.1)·10^{-3}	5	2785
ECG (5d)	shPLRNN + aGTF	4.5 ± 0.4	0.34 ± 0.02	(2.4 ± 0.2)·10^{-3}	5	2785
ECG (5d)	shPLRNN + STF	7.1 ± 1.8	0.38 ± 0.03	(5 ± 2)·10^{-3}	5	2785
ECG (5d)	dendPLRNN + id-TF	5.8 ± 0.6	0.37 ± 0.06	(4.0 ± 0.4)·10^{-3}	35	3245
ECG (5d)	RC	5.3 ± 1.7	0.39 ± 0.05	(4 ± 1)·10^{-3}	1000	5000
ECG (5d)	LSTM-TBPTT	15.2 ± 0.5	0.73 ± 0.02	(2.5 ± 0.5)·10^{-2}	70	5920
ECG (5d)	SINDy	diverging	diverging	diverging	5	3960
ECG (5d)	N-ODE	12.2 ± 0.7	0.70 ± 0.03	(4.1 ± 0.1)·10^{-1}	5	4955

• GTF는 혼돈 다이나믹스 학습에서 손실 그래디언트를 엄격히 바운드적으로 유지하여 안정적인 최적화를 가능하게 한다.
• 얕은 PLRNN은 관찰된 시스템의 차원과 같거나 그보다 큰 공간에서 혼돈 다이나믹스를 재구성할 수 있으면서도 해석 가능하고 다루기 쉽다.
• 실제 데이터(ECG, EEG)에서 GTF를 사용한 shPLRNN은 여러 SOTA 방법보다 기하학적 구조와 시간적 충실도가 크게 우수하다.
• LSTM-TBPTT, RC, SINDy, Neural ODEs, LEM과 비교할 때, GTF를 갖춘 shPLRNN은 더 낮은 D_stsp 및 D_H, 예측 오차도 경쟁력 있게 유지하며 잠재 차원이 훨씬 적다.
• 적응형 GTF(aGTF)은 정확한 σ̃_max 추정 없이도 강건한 성능을 제공하며, 애닐링 스케줄이 학습 안정성을 향상시키는 것으로 나타났다.