[논문 리뷰] PhICNet: Physics-Incorporated Convolutional Recurrent Neural Networks for Modeling Dynamical Systems.

Priyabrata Saha, Saurabh Dash외 1명|arXiv (Cornell University)|2020. 04. 14.

Time Series Analysis and Forecasting참고 문헌 26인용 수 5

한 줄 요약

PhICNet는 물리적 PDE 제약 조건을 통합한 엔드 투 엔드 학습 가능한 RNN를 사용하여 시공간 동역학과 관측되지 않는 시간에 따라 변하는 외부 원인을 동시에 예측하는 물리적 정보를 반영한 컨볼루션 순환 신경망이다. 이는 물리적 PDE 제약 조건과 엔드 투 엔드 학습 가능한 RNN를 통합함으로써 장기 예측과 높은 정확도의 원인 재구성 능력을 가능하게 한다.

ABSTRACT

Spatio-temporal dynamics of physical processes are generally modeled using partial differential equations (PDEs). Though the core dynamics follows some principles of physics, real-world physical processes are often driven by unknown external sources. In such cases, developing a purely analytical model becomes very difficult and data-driven modeling can be of assistance. In this paper, we present a hybrid framework combining physics-based numerical models with deep learning for source identification and forecasting of spatio-temporal dynamical systems with unobservable time-varying external sources. We formulate our model PhICNet as a convolutional recurrent neural network (RNN) which is end-to-end trainable for spatio-temporal evolution prediction of dynamical systems and learns the source behavior as an internal state of the RNN. Experimental results show that the proposed model can forecast the dynamics for a relatively long time and identify the sources as well.

연구 동기 및 목표

• 관측되지 않는 시간에 따라 변하는 외부 원인이 있는 동역학 시스템을 모델링하는 데 도전하는 것.
• 물리 기반 PDE 모델과 데이터 기반 딥 러닝을 융합하는 하이브리드 프레임워크를 개발하는 것.
• 시공간 데이터로부터 시스템의 동역학과 알 수 없는 원인 행동을 동시에 엔드 투 엔드로 학습하는 것.
• 관측되지 않는 외부 힘 존재하더라도 정확한 장기 예측을 달성하는 것.

제안 방법

• PhICNet는 물리 시스템의 시공간 진화를 모델링하기 위해 컨볼루션 순환 신경망(RNN) 아키텍처를 사용한다.
• 모델은 부분 미분 방정식(PDE)에서 유도된 물리적 제약 조건을 네트워크의 손실 함수와 은닉 상태 동역학에 직접 통합한다.
• 알 수 없는 외부 원인을 RNN의 내부 상태로 간주함으로써 동역학과 원인 행동을 동시에 학습할 수 있도록 한다.
• 관측된 시공간 데이터를 사용하여 엔드 투 엔드로 학습 가능하며, 물리 법칙을 준수하면서 재구성 오차를 최소화한다.
• RNN의 은닉 상태는 시간에 따라 변하는 원인을 암묵적으로 인코딩하여 추론 도중 원인 식별이 가능하다.
• 데이터 기반 패턴과 물리적 일관성을 활용하여 일반화 능력과 장기 예측 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 관측되지 않는 외부 원인이 존재하는 상황에서 딥 러닝 모델이 장기적인 시공간 동역학을 정확하게 예측할 수 있는가?
• RQ2 신경망이 물리 시스템에서 숨겨진 시간에 따라 변하는 원인의 행동을 얼마나 잘 추론할 수 있는가?
• RQ3 물리적 PDE 제약 조건을 통합할 경우 데이터가 부족한 상황에서 예측 정확도와 일반화 능력이 얼마나 향상되는가?
• RQ4 RNN의 내부 상태를 효과적으로 사용하여 알 수 없는 외부 힘 항목을 재구성할 수 있는가?
• RQ5 물리 기반 딥 러닝의 하이브리드 접근 방식은 순수 데이터 기반 또는 순수 분석 모델에 비해 어떻게 비교되는가?

주요 결과

• PhICNet는 외부 원인이 관측되지 않는 상황에서도 정확한 장기 예측을 수행한다.
• 모델은 내부 RNN 상태를 통해 숨겨진 시간에 따라 변하는 외부 원인의 행동을 성공적으로 식별하고 재구성한다.
• 물리적 PDE 제약 조건을 통합함으로써 순수 데이터 기반 기준 모델에 비해 예측 안정성과 정확도가 크게 향상된다.
• 엔드 투 엔드 학습 방식을 통해 동역학 예측과 원인 재구성의 동시 최적화가 가능하다.
• 실험 결과에 따르면 PhICNet는 새로운 시스템 행동으로의 일반화 능력이 뛰어나며 장기간에 걸쳐 낮은 오차를 유지한다.
• 이 프레임워크는 데이터 기반 학습과 물리적 타당성 사이의 균형을 효과적으로 확보하여 더 신뢰할 수 있고 해석 가능한 예측을 가능하게 한다.