[논문 리뷰] Hard Encoding of Physics for Learning Spatiotemporal Dynamics

Chengping Rao, Hao Sun외 1명|arXiv (Cornell University)|2021. 05. 02.

Model Reduction and Neural Networks참고 문헌 26인용 수 14

한 줄 요약

이 논문은 기존의 활성화 함수를 대체하여 새로운 곱셈형 $Π$-블록을 통해 알려진 물리 법칙을 아키텍처에 경직성 있게 통합하는 PeRCNN를 제안한다. 이 모델은 데이터 부족과 노이즈에 대해 뛰어난 강건성과 장기적인 시공간 외삽에서 뛰어난 일반화 성능을 보이며, ConvLSTM 및 DHPM과 같은 최신 모델들보다 우수한 성능을 나타낸다.

ABSTRACT

Modeling nonlinear spatiotemporal dynamical systems has primarily relied on partial differential equations (PDEs). However, the explicit formulation of PDEs for many underexplored processes, such as climate systems, biochemical reaction and epidemiology, remains uncertain or partially unknown, where very limited measurement data is yet available. To tackle this challenge, we propose a novel deep learning architecture that forcibly encodes known physics knowledge to facilitate learning in a data-driven manner. The coercive encoding mechanism of physics, which is fundamentally different from the penalty-based physics-informed learning, ensures the network to rigorously obey given physics. Instead of using nonlinear activation functions, we propose a novel elementwise product operation to achieve the nonlinearity of the model. Numerical experiment demonstrates that the resulting physics-encoded learning paradigm possesses remarkable robustness against data noise/scarcity and generalizability compared with some state-of-the-art models for data-driven modeling.

연구 동기 및 목표

• 제한적이고 노이즈가 많은 데이터, 부분적으로 알려지지 않았거나 불확실한 지배 PDE를 가진 비선형 시공간 시스템을 모델링하는 데 도전한다.
• 손실 함수에 부가된 제약 조건에 의존하는 페널티 기반의 물리 인식 신경망(PINNs)의 한계를 극복한다. 이러한 방법은 훈련 중에 물리 법칙을 엄격히 이행하지 못할 수 있다.
• 손실 기반 정규화가 아닌 아키텍처적 경직성 통합을 통해 알려진 물리 법칙(예: PDE 항, 초기/경계 조건)을 엄격히 이행하는 데이터 기반 모델을 개발한다.
• 반복 블록 내에서 비선형 활성화 함수를 대체하여 곱셈형, 물리 법칙을 모방하는 연산을 도입함으로써 모델의 해석 가능성과 일반화 성능을 향상시킨다.
• 기후 모델 및 반응-확산 과정과 같은 복잡한 시스템에서 최소한의 데이터로 정확한 장기 외삽을 가능하게 한다.

제안 방법

• 완전 컨볼루션형 초기 상태 생성기(ISG)와 반복적 $Π$-블록으로 구성된 새로운 딥 러닝 아키텍처인 PeRCNN를 제안한다.
• 병렬 컨볼루션 레이어에서 유도된 특징 맵 간의 원소별 곱셈 연산을 사용하여 비선형성을 유도하는 $Π$-블록을 구현하며, 이를 PDE의 항들과 유사하게 모방한다.
• 알려진 물리 법칙(예: PDE의 구조, 초기/경계 조건)을 네트워크 아키텍처에 직접 통합하여 물리적 제약 조건을 엄격히 이행함을 보장한다.
• 반복 계산을 가능하게 하기 위해 $Π$-블록에 정방향 오일러 시간 적분 기법을 적용하여 시간 단계 간의 시공간 진화를 모델링한다.
• 특징 통합과 잔차 학습을 가능하게 하기 위해 1×1 컨볼루션 레이어를 사용하여 훈련의 안정성과 표현력을 향상시킨다.
• 희소하고 노이즈가 많은 측정치에 대해 지도 학습 손실을 사용하여 모델을 엔드 투 엔드로 훈련하며, 검증 손실 기반 조기 정지 전략을 적용한다.

실험 결과

연구 질문

• RQ1 손실 함수의 페널티 항에 의존하지 않고, 아키텍처 설계를 통해 알려진 물리 법칙을 강제로 네트워크에 통합할 수 있는 딥 러닝 모델을 설계할 수 있는가?
• RQ2 아키텍처 설계를 통한 물리 법칙의 경직성 통합이 페널티 기반 방법에 비해 데이터 노이즈 및 부족에 대한 모델의 강건성을 어떻게 향상시키는가?
• RQ3 활성화 함수를 곱셈 연산으로 대체함으로써 시공간 모델링에서 모델의 해석 가능성과 일반화 성능은 어느 정도 향상되는가?
• RQ4 학습된 가중치의 기호적 해석을 통해 모델이 실제 지배 PDE의 구조를 복원하거나 근사할 수 있는가?
• RQ5 PeRCNN는 ConvLSTM 및 DHPM과 같은 최신 모델들에 비해 훈련 범위를 초월한 장기 외삽에서 어떻게 성능을 발휘하는가?

주요 결과

• PeRCNN는 장기 외삽에서 뛰어난 일반화 성능을 보이며, 훈련 시간 범위를 초월해도 오차 전파가 낮게 유지되는 반면, 다른 모델들은 크게 발산하는 경향을 보인다.
• 2D 버거스 방정식 실험에서 PeRCNN는 $t = 0.395$ 시점에서 안정적이고 정확한 예측을 내놓는 반면, ConvLSTM 및 DHPM과 같은 다른 모델들은 참값에서 크게 벗어나는 경향을 보였다.
• PeRCNN의 紴적 RMSE 곡선은 외삽 기간 동안 낮고 평탄하게 유지되어 일관된 성능을 나타내는 반면, 다른 모델들은 빠르게 오차가 증가하는 경향을 보였다.
• 3D 그레이-스터프 반응-확산 실험에서 PeRCNN는 여러 농도 수준에서 물리적으로 타당한等면도를 생성하였으며, 모든 베이스라인 모델들보다 시각적 및 정량적 정확도에서 뛰어난 성능을 보였다.
• 학습된 $Π$-블록에 대한 기호 분석을 통해 모델의 효과적 역학이 실제 지배 PDE에 매우 가까이 근사하는 것으로 확인되어, 모델의 해석 가능성과 물리적 일관성이 입증되었다.
• PeRCNN는 훈련 데이터에 10%의 가우시안 노이즈가 포함된 상황에서도 오차 지표가 시간이 지남에 따라 안정화되어, 데이터 오염에 대한 강력한 강건성을 보였다.