[논문 리뷰] Real-time Inference and Extrapolation via a Diffusion-inspired Temporal Transformer Operator (DiTTO)

Oded Ovadia, Oommen, Vivek외 4명|arXiv (Cornell University)|2023. 07. 18.

Model Reduction and Neural Networks인용 수 9

한 줄 요약

DiTTO는 확산에서 영감을 받은 신경 연산자로서 시간 의존 편미분방정식(PDE)에 대해 실시간, 연속적 시간 예측을 제공하고 시간에 따른 외삽과 시간적 초해상도를 가능하게 하며, 기후 및 고초속 유동 문제에서 시연되었다.

ABSTRACT

Extrapolation remains a grand challenge in deep neural networks across all application domains. We propose an operator learning method to solve time-dependent partial differential equations (PDEs) continuously and with extrapolation in time without any temporal discretization. The proposed method, named Diffusion-inspired Temporal Transformer Operator (DiTTO), is inspired by latent diffusion models and their conditioning mechanism, which we use to incorporate the temporal evolution of the PDE, in combination with elements from the transformer architecture to improve its capabilities. Upon training, DiTTO can make inferences in real-time. We demonstrate its extrapolation capability on a climate problem by estimating the temperature around the globe for several years, and also in modeling hypersonic flows around a double-cone. We propose different training strategies involving temporal-bundling and sub-sampling and demonstrate performance improvements for several benchmarks, performing extrapolation for long time intervals as well as zero-shot super-resolution in time.

연구 동기 및 목표

• 데이터 기반 프레임워크에서 시간-연속 외삽을 위한 정확한 시간 연속성을 동기 부여한다.
• 초기 조건 u(x,0)에서 시간적으로 연속적으로 u(x,t)를 예측하는 신경 연산자를 개발한다.
• 실시간 추론과 외삽을 가능하게 하기 위해 확산-모델 조건화와 시간 임베딩 및 U-Net 구조를 결합한다.
• 외삽 성능을 향상시키기 위한 훈련 전략(시간적 번들링 및 부분 샘플링)을 도입한다.

제안 방법

• 초기 조건 x0 = u(x,0)와 목표 시간 t를 ut = u(x,t)로 매핑하는 확산-모델 영감의 대리 연산자 G를 사용한다.
• 공간/채널 주의가 있는 U-Net과 시간 임베딩 네트워크를 포함하는 이중 구성 아키텍처를 채택한다.
• t의 Transformer 유사 위치 인코딩에서 파생된 시간 임베딩 벡터와의 원소별 곱으로 U-Net을 조건화한다.
• DiTTO의 변형(DiTTO-s, DiTTO-point, DiTTO-gate) 및 훈련 전략(무작위 시간 부분 샘플링, 시간적 번들링)을 Extend 한다.
• 훈련을 위해 시간의 이산화 {t_n}을 사용하되, [0, t_final] 내부에서 연속 시간 추론을 허용한다.
• 1D/2D/3D PDE(Burgers, Navier–Stokes, acoustic wave equations) 및 기후 데이터에 대해 FNO 및 U-Net 기저선과 비교 평가하고, 외삽 및 시간적 초해상 특성을 분석한다.

Figure 1 : DiTTO architecture. The discretized initial condition $u(\textbf{x},0)$ concatenated with the corresponding spatial grid, and the desired time $t\in\mathbb{R}^{+}$ are the respective inputs to the U-Net and the time-embedding network comprising DiTTO. The U-Net illustrated here consists o

실험 결과

연구 질문

• RQ1 확산에서 영감을 받은 연산자가 초기 조건으로부터 PDE 해의 시간 연속적 진화를 학습할 수 있는가?
• RQ2 DiTTO가 학습 경계 너머로 시간 외삽 및 시간적 초해상화를 어느 정도 수행할 수 있는가?
• RQ3 시간적 번들링과 부분 샘플링 전략이 장기 외삽 및 잡음에 대한 견고성에 어떤 영향을 미치는가?
• RQ4 문제 차원성에 따라 DiTTO의 확장성이 어떻게 달라지며 벤치마크에서 최첨단 신경 연산자(FNO, U-Net)와 비교했을 때 어떤 성능 차이가 있는가?
• RQ5 DiTTO-조건부 대리모델이 시간 조건부를 넘어 매개변수 조건 외삽(예: Mach 수 가변)에 사용될 수 있는가?

주요 결과

• DiTTO는 초기 조건에서 시간 연속 예측을 가능하게 하며 학습 구간을 넘어 시간 외삽을 지원한다.
• 시간적 번들이 오토회귀 또는 전체 매핑 전략에 비해 더 나은 외삽 성능과 낮은 불확실성을 제공한다.
• DiTTO는 2D/3D 파동 전파 및 고속 유체 흐름 벤치마크에서 FNO 및 U-Net보다 우수한 성능을 보이며, 특히 짧은 시험 시야에서 두드러지며 더 긴 시야에서도 경쟁력을 유지한다.
• DiTTO-point(차원 축소 변형)는 공간 위치 임베딩의 도움으로 계산 비용을 줄이면서 DiTTO와 비슷한 정확도를 달성한다.
• 기후 데이터에서 DiTTO는 5년 간의 장기 외삽에서 평균 상대 오차 약 1.4%를 달성한다.
• DiTTO는 잡음에 대한 견고성을 보이며 DiTTO-point는 상당한 잡음 수준에서도 낮은 오차를 유지한다.

Figure 2 : Temporal-bundling for efficient extrapolation. a) demonstrates 3 types of time-series modeling strategies for extrapolating beyond the training interval. For display purposes, we consider a time-series with 20 time steps. b) visualizes the error accumulation for DiTTO models with differen