Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] Real-time Inference and Extrapolation via a Diffusion-inspired Temporal Transformer Operator (DiTTO)

Oded Ovadia, Oommen, Vivek|arXiv (Cornell University)|Jul 18, 2023
Model Reduction and Neural Networks被引用数 9
ひとこと要約

DiTTO は拡散に着想を得たニューラルオペレータで、時間依存 PDE のリアルタイム・連続的な予測を提供し、時間方向の外挿と時間的超解像を可能にします。気候と高超音速流の問題で実証されました。

ABSTRACT

Extrapolation remains a grand challenge in deep neural networks across all application domains. We propose an operator learning method to solve time-dependent partial differential equations (PDEs) continuously and with extrapolation in time without any temporal discretization. The proposed method, named Diffusion-inspired Temporal Transformer Operator (DiTTO), is inspired by latent diffusion models and their conditioning mechanism, which we use to incorporate the temporal evolution of the PDE, in combination with elements from the transformer architecture to improve its capabilities. Upon training, DiTTO can make inferences in real-time. We demonstrate its extrapolation capability on a climate problem by estimating the temperature around the globe for several years, and also in modeling hypersonic flows around a double-cone. We propose different training strategies involving temporal-bundling and sub-sampling and demonstrate performance improvements for several benchmarks, performing extrapolation for long time intervals as well as zero-shot super-resolution in time.

研究の動機と目的

  • データ駆動型フレームワークにおける時間連続外挿の正確性を動機づける。
  • 初期条件 u(x,0) から時刻 t における u(x,t) を連続的に予測するニューラルオペレータを開発する。
  • 拡散モデルの条件付けと時間埋め込みおよび U-Net アーキテクチャを組み合わせて、リアルタイム推論と外挿を実現する。
  • 外挿性能を向上させる訓練戦略（時間的バンドルとサブサンプリング）を導入する。

提案手法

  • 初期条件 x0 = u(x,0) と目標時刻 t をマップして ut = u(x,t) を生成する拡散モデルに着想を得たサロゲートオペレーター G を用いる。
  • 空間/チャネル注意機構を備えた U-Net と時間埋め込みネットワークを用いた二成分アーキテクチャを採用する。
  • U-Net を、t の変換型位置エンコードに基づく時間埋め込みベクトルとの要素ごとの積で条件付けする。
  • DiTTO を DiTTO-s、DiTTO-point、DiTTO-gate といったバリアントと、ランダムな時間サブサンプリング、時間的バンドルといった訓練戦略とともに拡張する。
  • 訓練時には {t_n} へと時間を離散化する一方で、推論は [0, t_final] の連続時間を許容する。
  • 1D/2D/3D の PDE（ Burgers、Navier–Stokes、音響波動方程式）および気候データに対して FNO および U-Net のベースラインと比較して評価し、外挿と時間的超解像機能を分析する。
Figure 1 : DiTTO architecture. The discretized initial condition $u(\textbf{x},0)$ concatenated with the corresponding spatial grid, and the desired time $t\in\mathbb{R}^{+}$ are the respective inputs to the U-Net and the time-embedding network comprising DiTTO. The U-Net illustrated here consists o
Figure 1 : DiTTO architecture. The discretized initial condition $u(\textbf{x},0)$ concatenated with the corresponding spatial grid, and the desired time $t\in\mathbb{R}^{+}$ are the respective inputs to the U-Net and the time-embedding network comprising DiTTO. The U-Net illustrated here consists o

実験結果

リサーチクエスチョン

  • RQ1ディフュージョンに着想を得たオペレータは、初期条件から PDE 解の時間連続的進化を学習できるか。
  • RQ2DiTTO は訓練の外側の時間へどの程度外挿し、時間的超解像を実現できるか。
  • RQ3時間的バンドリングとサブサンプリング戦略は長時間外挿およびノイズに対する頑健性にどう影響するか。
  • RQ4問題の次元性が上がった場合に DiTTO はどのようにスケールし、ベンチマーク全体で最先端のニューラルオペレータ（FNO、U-Net）と比較されるか。
  • RQ5DiTTO 条件付きのサロゲートは時間条件付けを超えて、パラメータ条件付き外挿（例：マッハ数の変化）に利用できるか。

主な発見

ScenarioModelN_t^test=10N_t^test=20N_t^test=50N_t^test=100N_t^test=200
2D time-dependent hypersonic flowDiTTO0.22530.12640.02240.06010.0815
2D time-dependent hypersonic flowDiTTO-point0.22630.12800.02510.05730.0779
2D time-dependent hypersonic flowDiTTO-s0.22430.13210.06550.07210.0854
2D time-dependent hypersonic flowDiTTO-point-s0.20890.12770.11750.13640.1474
2D time-dependent hypersonic flowDiTTO-point-s-gate0.23520.14900.07220.06990.0790
2D time-dependent hypersonic flowFNO0.47020.12120.05100.0746N/A
2D Navier Stokes Re≈2000, n=5000 samplesDiTTO-s0.17010.11130.09190.09130.0923
2D Navier Stokes Re≈2000, n=5000 samplesDiTTO-point-s-gate0.19360.13220.10140.09440.0919
2D Navier Stokes Re≈2000, n=5000 samplesDiTTO-point-s0.17210.11320.09450.09420.0953
2D Navier Stokes Re≈2000, n=5000 samplesFNO0.39230.19860.12600.13120.1398
2D Navier Stokes Re≈2000, n=5000 samplesUNet0.00.00.02021.25011.2595
2D wave equationDiTTO0.00910.02460.00770.03790.0481
2D wave equationDiTTO-point0.01400.01370.01220.03240.0391
2D wave equationDiTTO-s0.03430.03200.03010.03540.0376
2D wave equationDiTTO-point-s0.05190.04860.04500.05400.0576
2D wave equationDiTTO-point-s-gate0.03350.03160.02960.03820.0412
2D wave equationFNO1.32530.49030.14600.20930.2636
3D wave equationDiTTO-s0.01920.01660.01510.01480.0147
3D wave equationDiTTO-point-s0.03840.03500.03310.03260.0324
3D wave equationDiTTO-point-s-gate0.03730.03390.03190.03140.0311
3D wave equationFNO0.00.00.14600.20930.2636
3D wave equationUNet1.39561.39980.02021.25011.2595
  • DiTTO は初期条件からの時間連続的予測を可能とし、訓練区間を超えた時間外挿をサポートする。
  • 時間的バンドリングは自己回帰や全マッピング戦略と比較して外挿性能と不確実性の低下をもたらす。
  • DiTTO は 2D/3D の波動伝播と高超音速流のベンチマークで FNO および U-Net を上回り、特に短いテストホライズンで顕著だが、長いホライズンでも競争力を維持する。
  • DiTTO-point（次元削減バリアント）は空間的位置エンベディングの助けを借りて DiTTO と同等の精度を達成しつつ計算コストを削減する。
  • 気候データでは DiTTO は 5 年間の長期外挿で平均相対誤差約 1.4% を達成する。
  • DiTTO はノイズに対して頑健で、DiTTO-point は substantial なノイズレベルでも誤差を低く保つ。
Figure 2 : Temporal-bundling for efficient extrapolation. a) demonstrates 3 types of time-series modeling strategies for extrapolating beyond the training interval. For display purposes, we consider a time-series with 20 time steps. b) visualizes the error accumulation for DiTTO models with differen
Figure 2 : Temporal-bundling for efficient extrapolation. a) demonstrates 3 types of time-series modeling strategies for extrapolating beyond the training interval. For display purposes, we consider a time-series with 20 time steps. b) visualizes the error accumulation for DiTTO models with differen

より良い研究を、今すぐ始めましょう

論文設計から論文執筆まで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。