[논문 리뷰] Bilinear residual Neural Network for the identification and forecasting of dynamical systems

Ronan Fablet, Said Ouala외 1명|arXiv (Cornell University)|2017. 12. 19.

Model Reduction and Neural Networks참고 문헌 8인용 수 20

한 줄 요약

이 논문은 룬게쿠타 적분 기법을 그래픽 잔차 신경망으로 해석하고, 쌍선형 레이어를 통해 내재된 비선형성을 통합함으로써, 알려지지 않은 상미분방정식(OED)에 의해 지배되는 동역학계를 모델링하고 예측하는 이중선형 잔차 신경망(Bi-NN)을 제안한다. 이 방법은 로렌츠-63, 로렌츠-96, 오레곤레이터 시스템에서 우수한 예측 및 모델 식별 성능를 보이며, 희소 회귀 및 표준 신경망보다 매개변수 추정과 잠재 역학의 재구성에서 뛰어난 성능을 발휘한다.

ABSTRACT

Due to the increasing availability of large-scale observation and simulation datasets, data-driven representations arise as efficient and relevant computation representations of dynamical systems for a wide range of applications, where model-driven models based on ordinary differential equation remain the state-of-the-art approaches. In this work, we investigate neural networks (NN) as physically-sound data-driven representations of such systems. Reinterpreting Runge-Kutta methods as graphical models, we consider a residual NN architecture and introduce bilinear layers to embed non-linearities which are intrinsic features of dynamical systems. From numerical experiments for classic dynamical systems, we demonstrate the relevance of the proposed NN-based architecture both in terms of forecasting performance and model identification.

연구 동기 및 목표

• 알려지지 않은 ODE에 의해 지배되는 동역학계를 모델링하고 예측하기 위한 데이터 기반이며 물리적으로 타당한 신경망 아키텍처를 개발하는 것.
• 잔차 신경망 프레임워크 내에서 쌍선형 레이어를 통해 동역학계의 내재된 비선형성을 통합하는 것.
• 희소 회귀 및 표준 신경망과 같은 최신 기법들보다 예측 정확도와 모델 식별 성능를 향상시키는 것.
• 고차원 관측 시간 시리즈에서 저차원 잠재 역학을 식별할 수 있도록 하는 것.
• 기존의 수치적 적분 기법(예: 룬게쿠타)을 종단 간 학습을 위한 잔차 신경망 아키텍처로 재해석하는 것.

제안 방법

• 4차 룬게쿠타 방법을 4층의 잔차 신경망으로 재구성하며, 각 층은 공유된 연산자 F를 적용하고 고정 또는 학습 가능한 계수 αi와 βi를 사용한다.
• 로렌츠 및 오레곤레이터와 같은 시스템의 내재된 비선형 역학을 포착하기 위해 공유 블록 F 내부에 쌍선형 레이어를 도입하여 표현 능력을 향상시킨다.
• 시스템의 시간 시리즈 데이터를 사용하여 연산자 F, 그리고 가능하면 학습 가능한 계수 αi와 βi를 종단 간 학습한다.
• 잔차 아키텍처를 통해 장기 예측 및 시스템 식별에서 안정적인 학습과 향상된 일반화를 가능하게 한다.
• 선형 변환을 통해 고차원 관측에서 저차원 잠재 역학을 재구성한다. 이는 회전 행렬까지의 오차 범위 내에서 가능하다.
• 수치적 적분의 그래픽 모델 해석을 활용하여 물리적으로 해석 가능한 신경망 아키텍처 설계를 이끌어낸다.

실험 결과

연구 질문

• RQ1 런게쿠타 적분 기법이 동역학계 학습을 위한 잔차 신경망 아키텍처로 효과적으로 재해석될 수 있는가?
• RQ2 잔차 신경망 내부의 쌍선형 레이어가 표준 완전 연결 또는 컨볼루션 레이어보다 혼돈 동역학계의 내재된 비선형성을 더 잘 포착할 수 있는가?
• RQ3 제안된 이중선형 잔차 신경망이 희소 회귀 및 표준 신경망보다 예측 및 알려지지 않은 ODE의 매개변수 식별에서 뛰어난 성능을 보일 수 있는가?
• RQ4 모델은 고차원 관측 데이터에서 저차원 혼돈 역학을 성공적으로 재구성할 수 있는가?
• RQ5 학습된 신경망 표현이 기저의 동역학계의 물리적 구조와 장기적 행동을 어느 정도 유지하는가?

주요 결과

• Bi-NN(4)-SL 모델은 로렌츠-63 매개변수 추정에서 평균 제곱오차(MSE) 0.0239을 기록하여, 희소 회귀(SR) 및 Ni-NN(1)을 모두 초월했다.
• 로렌츠-63 시스템에서 Bi-NN(4)-SL 모델은 t₀+2h에서 예측 오차 0.035, t₀+4h에서 0.038을 기록하였으며, 기준 방법들보다 유의미하게 낮았다.
• Bi-NN(1) 모델은 5차원 관측 시스템에서 잠재 로렌츠-63 역학의 3차원 혼돈 애트랙터를 성공적으로 재구성하였으며, 재구성 오차는 3×3 회전 행렬 범위 내에 일致했다.
• 로렌츠-63 시스템에 대해 8시간 예측까지도 안정적인 예측 성능 유지를 보이며, 혼돈에 민감한 특성에도 불구하고 오차 증가가 적었다.
• 쌍선형 아키텍처는 표준 신경망보다 진정한 기저 ODE 구조를 더 잘 식별할 수 있었으며, 이는 개선된 매개변수 추정과 애트랙터 재구성으로 입증되었다.
• 노이즈가 많은 고차원 시간 시리즈에서도 안정적인 학습과 일반화를 보였으며, 이는 실제 동역학계 모델링에 적합함을 확인했다.