[논문 리뷰] Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems

Manuel Brenner, Florian Heß외 5명|arXiv (Cornell University)|2022. 07. 06.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 비선형 동역계를 더 높은 정확도와 낮은 차원에서 재구성하기 위해 선형 스퍼라인 기저 전개를 통해 조각별 선형 RNN(PLRNN)을 향상시킨 해석 가능한 분지형 RNN을 제안한다. 분지형 계산 원리를 활용함으로써, 고정점, 주기적 궤도, 안정성 분석과 같은 분석적 해석 가능성을 유지하면서도 더 적은 파라미터와 차원으로도 뛰어난 재구성 성능를 달성한다. 이는 표준 PLRNN 및 기타 방법보다 벤치마크 시스템에서 뛰어난 성능을 보인다.

ABSTRACT

In many scientific disciplines, we are interested in inferring the nonlinear dynamical system underlying a set of observed time series, a challenging task in the face of chaotic behavior and noise. Previous deep learning approaches toward this goal often suffered from a lack of interpretability and tractability. In particular, the high-dimensional latent spaces often required for a faithful embedding, even when the underlying dynamics lives on a lower-dimensional manifold, can hamper theoretical analysis. Motivated by the emerging principles of dendritic computation, we augment a dynamically interpretable and mathematically tractable piecewise-linear (PL) recurrent neural network (RNN) by a linear spline basis expansion. We show that this approach retains all the theoretically appealing properties of the simple PLRNN, yet boosts its capacity for approximating arbitrary nonlinear dynamical systems in comparatively low dimensions. We employ two frameworks for training the system, one combining back-propagation-through-time (BPTT) with teacher forcing, and another based on fast and scalable variational inference. We show that the dendritically expanded PLRNN achieves better reconstructions with fewer parameters and dimensions on various dynamical systems benchmarks and compares favorably to other methods, while retaining a tractable and interpretable structure.

연구 동기 및 목표

• 노이즈가 섞이고 고차원적인 시계열 데이터로부터 비선형 동역계를 재구성하는 데 도전하는 것.
• 잠재 공간 차원을 늘리지 않고도 수학적으로 해석 가능한 PLRNN의 표현력을 향상시키는 것.
• 딥 러닝 아키텍처에 생물학적 분지형 계산 원리를 통합하여 더 높은 해석 가능성과 성능을 확보하는 것.
• 향상된 모델에서 고정점과 주기적 궤도와 같은 동역학적 성질을 분석적으로 계산할 수 있도록 하는 것.
• 기존 방법들과 비교해 더 적은 파라미터와 낮은 차원의 잠재 공간을 사용하면서도 더 높은 재구성 정확도를 달성하는 것.

제안 방법

• 각 잠재 단위마다 선형 스퍼라인 기저 전개를 도입하여 조각별 선형 RNN(PLRNN)을 확장함으로써 뉴런의 분지형 분포를 모방한다.
• 각 잠재 단위의 활성화를 다수의 ReLU 기반 하위단위의 조합으로 표현하며, 각 하위단위는 서로 다른 임계값과 가중치를 가짐으로써 조각별 선형 근사치를 형성한다.
• 향상된 모델을 공유 가중치를 가진 더 큰 일반적인 PLRNN으로 재구성함으로써 분석적 해석 가능성을 유지한다.
• 두 가지 학습 프레임워크를 활용: 타임스텝을 거쳐 역전파하는 방법과 순차적 변동형 오토인코더(SVAE)를 통한 확장 가능한 변동형 추론.
• 고정점, 주기적 궤도, 안정성 성질이 향상된 모델에서도 분석적으로 계산 가능하다는 것을 수학적 증명을 통해 보여준다.
• 부분적으로 관측되거나 노이즈가 섞인 시계열 데이터를 다루기 위해 지연 임bedding 및 상태공간 재구성 기법을 적용한다.

실험 결과

연구 질문

• RQ1 RNN에 분지형 비선형 전처리를 적용하면 비선형 동역계의 재구성 정확도가 크게 향상되는가?
• RQ2 표현력이 증가함에도 불구하고 고정점, 안정성과 같은 동역학적 성질의 해석 가능성이 유지되는가?
• RQ3 표준 PLRNN나 다른 딥 러닝 기반 모델보다 더 적은 파라미터와 낮은 차원의 잠재 공간을 사용해 더 나은 재구성 성능를 달성할 수 있는가?
• RQ4 스플라인 기저 전개와 PLRNN 아키텍처의 조합은 표준 RNN이나 SINDy 유사 방법보다 혼돈 시스템 재구성에 더 효과적인가?
• RQ5 복잡하고 고차원적인 동역학의 근사 능력을 향상시키면서도 모델의 해석 가능성은 어느 정도 유지되는가?

주요 결과

• 분지형 PLRNN는 로렌츠 및 루스러 시스템과 같은 혼돈 시스템을 포함한 벤치마크 비선형 동역계에서 표준 PLRNN 및 기타 딥 러닝 기반 모델보다 더 뛰어난 재구성 성능를 보였다.
• 모델는 훨씬 적은 파라미터와 낮은 차원의 잠재 공간으로도 복잡한 동역학을 재구성할 수 있었으며, 이는 더 높은 샘플 효율성을 보여주었다.
• 향상된 모델에서 고정점, 주기적 궤도 및 안정성의 분석적 계산이 가능하여 이론적 접근성이 유지되었다.
• 모델는 다항식 기반 모델로 근사되는 지수 또는 삼각함수적 동역학을 재구성하는 데서도 표준 PLRNN보다 뛰어난 성능를 보였다.
• 변동형 추론(SVAE)을 통한 학습은 특히 장기간 또는 노이즈가 많은 시계열 데이터에서 확장 가능하고 효율적인 학습을 가능하게 하였다.
• 이론적 분석을 통해 가중치 행렬의 스펙트럴 노름 조건 하에서 궤도의 유계성을 증명하였으며, 이는 안정된 동역학을 보장한다.