[논문 리뷰] Continuous PDE Dynamics Forecasting with Implicit Neural Representations

Yuan Yin, Matthieu Kirchmeyer외 3명|arXiv (Cornell University)|2022. 09. 29.

Meteorological Phenomena and Simulations참고 문헌 53인용 수 14

한 줄 요약

DINO는 PDE에 대한 데이터 기반, 연속 시간 스페로타임 예측 모델로, 공간 관측을 이산화에 종속되지 않게 임bedding하는 은닉 신경 표현(INRs)을 사용하며, 학습된 잠재 ODE를 통해 시간 동역학을 모델링한다. 이는 임의의 스페로타임 위치로의 외삽, 격자/해상도 간 일반화, 희소하거나 비정규, 또는 다양체 기반 데이터에서의 강건한 성능을 가능하게 하며, 나비에-스토크스, 얕은 수면, 반응-확산 PDE에서 이전 방법들을 능가하는 다양한 일반화 시나리오에서 최고 성능을 기록한다.

ABSTRACT

Effective data-driven PDE forecasting methods often rely on fixed spatial and / or temporal discretizations. This raises limitations in real-world applications like weather prediction where flexible extrapolation at arbitrary spatiotemporal locations is required. We address this problem by introducing a new data-driven approach, DINo, that models a PDE's flow with continuous-time dynamics of spatially continuous functions. This is achieved by embedding spatial observations independently of their discretization via Implicit Neural Representations in a small latent space temporally driven by a learned ODE. This separate and flexible treatment of time and space makes DINo the first data-driven model to combine the following advantages. It extrapolates at arbitrary spatial and temporal locations; it can learn from sparse irregular grids or manifolds; at test time, it generalizes to new grids or resolutions. DINo outperforms alternative neural PDE forecasters in a variety of challenging generalization scenarios on representative PDE systems.

연구 동기 및 목표

• 기존 데이터 기반 PDE 예측 모델이 고정된 공간 및 시간 이산화에 의존하는 한계를 해결하기 위해.
• 추론 중에 새로운 격자, 해상도, 비정규 다양체를 포함한 임의의 공간 및 시간 위치로의 일반화를 가능하게 하기 위해.
• 학습 시 사용된 격자 구조에 종속되지 않는 연속 시간 동역학을 학습하는 모델을 개발하기 위해.
• 기상 예측과 같은 실제 응용에서 흔한 저자료, 다중 스케일, 적응형 센싱 시나리오에서 성능과 강건성을 향상시키기 위해.
• INRs, 신경 ODE, 공간-시간 분리의 장점을 융합해 다양한 일반화가 가능한 PDE 예측을 가능하게 하기 위해.

제안 방법

• 공간 관측을 저차원 잠재 공간으로 매핑하기 위해 은닉 신경 표현(INRs)을 활용하여 공간 표현을 이산화로부터 분리한다.
• 잠재 상태의 연속 시간 진화를 학습된 잠재 상미분방정식(ODE)으로 모델링한다.
• 공간-시간 변수 분리를 강제하는 새로운 INR 파arameterization인 진폭 조절을 도입하여 파arameter 수를 감소시키고 일반화 성능을 향상시킨다.
• 관측된 스페로타임 데이터로부터 잠재 동역학을 최적화하기 위해 미분 가능 ODE 솔버를 사용해 엔드 투 엔드로 훈련한다.
• 임의의 격자, 해상도, 공간 도메인(다양체 포함)에서 INR 평가를 통해 어떤 공간 점에서든 추론을 지원한다.
• 학습된 ODE를 연속 시간으로 앞으로 적분하여 훈련 기간을 초월한 시간 외삽을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고정 격자에 의존하지 않고도 데이터 기반 PDE 예측 모델이 임의의 공간 및 시간 위치로 일반화할 수 있는가?
• RQ2 진폭 조절을 통한 공간-시간 분리는 INR 기반 PDE 모델에서 일반화 성능 향상과 파arameter 수 감소에 어떻게 기여하는가?
• RQ3 희소하거나 비정규 관측 격자에서 훈련된 모델이 테스트 시 새로운 격자나 해상도로 일반화할 수 있는가?
• RQ4 잠재 ODE를 통한 연속 시간 모델링은 장기 예측 또는 고해상도 시계열 예측에서 성능을 어떻게 향상시키는가?
• RQ5 지구 규모 기상 예측과 같이 구면 다양체와 같은 복잡한 기하학도 처리할 수 있는가?

주요 결과

• DINO는 나비에-스토크스, 얕은 수면, 반응-확산 PDE에서 다양한 일반화 벤치마크에서 최고 성능을 기록한다.
• 얕은 수면 초해상도 작업에서 DINO는 테스트 MSE를 6.466×10⁻⁴로 줄여 I-MP-PDE(7.240×10⁻³)를 능가한다.
• 더 높은 시간 해상도를 가진 나비에-스토크스에서 DINO의 ODE 솔버는 테스트 MSE 4.388×10⁻⁴을 기록하여 보간된 더 낮은 해상도 예측(5.598×10⁻⁴)을 능가한다.
• DINO는 격자 및 해상도 간 강건한 일반화를 보이며, MP-PDE가 심각하게 성능 저하를 보이는 것과 달리 5%의 하향 샘플링 비율에서도 안정적인 성능을 유지한다.
• 다양체 기반 데이터(예: 구형 격자)에서도 뛰어난 성능을 기록하여, 300 km에서 150 km 해상도 이격에 대해 적용 가능성을 입증하며 실제 지구물리학 시스템에의 적용 가능성을 보여준다.
• 제거 실험 결과, 진폭 조절이 필수적임을 확인했다. 이를 제거한 DINO는 베이스라인보다 성능이 열 劣하므로, 장기 외삽과 파arameter 효율성 향상에 기여한다는 점을 입증한다.