[논문 리뷰] Learning the Dynamics of Physical Systems from Sparse Observations with Finite Element Networks

Marten Lienen, Stephan Günnemann|arXiv (Cornell University)|2022. 03. 16.

Hydrological Forecasting Using AI인용 수 11

한 줄 요약

이 논문은 유한요소법(FEM)을 적용한 알려지지 않은 편미분방정식(PDE)으로부터 모델 구조를 유도함으로써 희소 관측 자료로부터 시공간 동역학을 학습하는 그래프 신경망 프레임워크인 유한요소망(FEN)을 소개한다. PDE 형태에 대한 사전 지식(예: 대류 방정식에서의 대류)을 통합함으로써 가시적이고 해석 가능한 동역학 분리가 가능하며, 이동형 변형(TFEN)은 해양 수면 온도 및 가스 유량 예측에서 더 높은 해상도의 메쉬로의 일반화 성능이 현재 최고 수준을 기록한다.

ABSTRACT

We propose a new method for spatio-temporal forecasting on arbitrarily distributed points. Assuming that the observed system follows an unknown partial differential equation, we derive a continuous-time model for the dynamics of the data via the finite element method. The resulting graph neural network estimates the instantaneous effects of the unknown dynamics on each cell in a meshing of the spatial domain. Our model can incorporate prior knowledge via assumptions on the form of the unknown PDE, which induce a structural bias towards learning specific processes. Through this mechanism, we derive a transport variant of our model from the convection equation and show that it improves the transfer performance to higher-resolution meshes on sea surface temperature and gas flow forecasting against baseline models representing a selection of spatio-temporal forecasting methods. A qualitative analysis shows that our model disentangles the data dynamics into their constituent parts, which makes it uniquely interpretable.

연구 동기 및 목표

• 희소하고 비정규적으로 분포된 관측 자료만 제공될 때 물리 시스템의 시공간 동역학을 예측하는 데 도전하는 것.
• 유한요소법(FEM)에서 유도된 구조적 인덕티브 바이어스를 통합한 기울기 가능하고 그래프 기반의 모델을 개발하여 일반화 및 해석 가능성 향상.
• 기본 PDE에 대한 사전 지식(예: 대류)을 모델 아키텍처에 통합하여 더 높은 해상도의 메쉬로의 전이 학습을 가능하게 하는 것.
• PDE 기반의 구조적 설계를 통해 복잡한 동역학을 대류 및 소스/싱크 행동과 같은 해석 가능한 구성요소로 분리하는 방법 제공.
• 실세계 물리 예측 과제에서 다양한 베이스라인(순환형, 시간 컨볼루션형, 연속시간 모델)과 경쟁 가능한 성능을 보여주는 방법 제시.

제안 방법

• 모델은 삼각형 메쉬를 사용해 공간 영역을 이산화하며, 각 노드는 영역 내의 점을 나타내고 이웃 노드와 그래프 구조로 연결된다.
• 모델은 알려지지 않은 PDE에 의해 지배되는 연속 시간 시스템으로 동역학을 기술하고, FEM 내에서 갈레르킨 방법을 적용하여 수치 근사를 가능하게 하는 PDE의 약한 형태를 유도한다.
• 기저 함수와 요소 단위 적분을 사용해 각 노드의 순순간 변화를 계산함으로써, 해당 노드와 관련된 요소 부피에 대한 알려지지 않은 동역학의 영향을 추정한다.
• 그래프 네트워크 내의 메시지 전달 메커니즘이 이웃 요소들이 각 노드의 동역학에 기여하는 바를 계산하여, 실제로 PDE의 약한 형태를 근사한다.
• 모델 구조는 가정된 PDE 형태(예: 대류-확산)에서 직접 유도되며, 이로써 물리적 인덕티브 바이어스가 아키텍처에 통합된다.
• 이동 문제의 경우, 특수한 변형인 이동-유한요소망(TFEN)이 대류 방정식에서 유도되며, 흐름장을 해석 가능하고 시각화 가능한 구성요소로 명시적으로 모델링한다.

실험 결과

연구 질문

• RQ1 희소 관측 자료로부터 시공간 동역학을 모델링하기 위해 유한요소법에서 유도된 그래프 신경망을 체계적으로 유도할 수 있는가?
• RQ2 기본 PDE에 대한 사전 지식(예: 대류)을 신경망 아키텍처에 어떻게 통합하여 일반화 및 해석 가능성을 향상시킬 수 있는가?
• RQ3 PDE에서 유도된 모델 구조는 표준 시공간 베이스라인과 비교해 더 높은 해상도의 메쉬로의 성능 및 이식성 향상에 기여하는가?
• RQ4 모델은 대류 및 소스/싱크 행동과 같은 별개의 물리적 과정을 해석 가능한 구성요소로 분리할 수 있는가?
• RQ5 FEM에서 유도된 구조적 바이어스는 물리 예측 과제에서 낮은 데이터 환경에서 일반화 성능 향상에 얼마나 기여하는가?

주요 결과

• 유한요소망(FEN)은 순환형, 시간 컨볼루션형, 연속시간 모델 클래스의 강력한 베이스라인과 비교해 해양 수면 온도 및 가스 유량 예측의 단기 예측에서 경쟁 가능한 성능을 달성한다.
• 대류 방정식에서 유도된 이동형 변형(TFEN)은 해양 수면 온도 및 가스 유량 예측 과제에서 더 높은 해상도의 메쉬로의 일반화 성능을 크게 향상시킨다.
• TFEN은 동역학을 대류 성분과 나머지(예: 소스/싱크)로 분리하며, 시각화된 활성화는 학습된 흐름장을 의미적으로 해석하고 분석할 수 있도록 한다.
• 모델의 해석 가능성은 PDE 형태에서 직접 유도된 데서 기인하며, 이로 인해 이동 및 확산과 같은 물리적 과정의 의미 있는 내부 분석이 가능해진다.
• GPU에서 비결정적 메시지 전달이 이루어지더라도 동일한 시드로 실행한 학습 런은 낮은 성능 변동성을 보이며, 고정된 난수 시드와 설정 추적을 통해 결과의 재현 가능성이 확보된다.
• 이 프레임워크는 최소한의 재학습으로 더 높은 해상도의 메쉬로의 전이 학습을 가능하게 하여 물리 시스템 모델링에서의 강건성과 확장성을 입증한다.