[論文レビュー] Physics-Informed Transformer operator for the prediction of three-dimensional turbulence

Zhihong Guo, Sunan Zhao+3 more|arXiv (Cornell University)|Jan 27, 2026

Model Reduction and Neural Networks被引用数 0

ひとこと要約

論文は、LES方程式を loss に埋め込むことで長期安定予測とPIFNOより高い効率を実現する 3D乱流予測用の物理情報付きTransformer演算子（PITOおよびPIITO）をVision Transformer（ViT）原則に基づいて構築する。

ABSTRACT

Data-driven turbulence prediction methods often face challenges related to data dependency and lack of physical interpretability. In this paper, we propose a physics-informed Transformer operator (PITO) and its implicit variant (PIITO) for predicting three-dimensional (3D) turbulence, which are developed based on the vision Transformer (ViT) architecture with an appropriate patch size. Given the current flow field, the Transformer operator computes its prediction for the next time step. By embedding the large-eddy simulation (LES) equations into the loss function, PITO and PIITO can learn solution operators without using labeled data. Furthermore, PITO can automatically learn the subgrid scale (SGS) coefficient using a single set of flow data during training. Both PITO and PIITO exhibit excellent stability and accuracy on the predictions of various statistical properties and flow structures for the situation of long-term extrapolation exceeding 25 times the training horizon in decaying homogeneous isotropic turbulence (HIT), and outperform the physics-informed Fourier neural operator (PIFNO). Furthermore, PITO exhibits a remarkable accuracy on the predictions of forced HIT where PIFNO fails. Notably, PITO and PIITO reduce GPU memory consumption by 79.5\% and 91.3\% while requiring only 31.5\% and 3.1\% of the parameters, respectively, compared to PIFNO. Moreover, both PITO and PIITO models are much faster compared to traditional LES method.

研究の動機と目的

• データ駆動型の乱流予測を動機づけ、データ依存性と解釈性の課題に対処する。
• ViTOに基づくPITOとPIITOを開発し、計算コストを削減して3D乱流をモデル化する。
• 学習データが少なくても物理情報学習を可能にするため、LES方程式をトレーニング損失に埋め込む。
• 訓練中にサブグリッドスケール（SGS）係数を自動的に学習する。
• 減衰および強制された3D HITの長期外挙動での安定性と精度を示し、PIFNOと比較する。

提案手法

• 3D流れ領域を非重複の立方体パッチに分割してTransformerトークン（ViTO）を形成する。
• パッチサイズPを用いたViT3Dスタックとリ lifting層で入力を潜在空間へ写像し、続く多頭自己注意と射影層で流れ場を再構成する。
• Explicitな反復更新 v_{l+1}=v_{l}+σ(K(v_{l};θ_{l})) をL層のTransformerで導入したPITOと、重み共有の暗黙的変種（PIITO）として v(x,(l+1)δt)=v(x,lδt)+δt σ(K(v(x,lδt);θ)) を採用する。
• L1およびL2項（発散自由条件と SGS応力を含む運動量方程式）を PDE 損失にLES governing equationsとして組み込み、∂tの時間差分近似を用いる。
• 定常HITのスペクトルフォーシング制約を適用し、質量保存を満たすよう発散自由空間への射影を行う。
• 減衰および強制HITに対して物理情報付きViTOをPIFNOと比較し、訓練効率、PDE/テスト損失、推論性能を報告する。

実験結果

リサーチクエスチョン

• RQ1 PITO/PIITOは訓練 horizon を超えた3D乱流統計や構造を正確に予測できるか。
• RQ2 物理情報付きTransformer演算子は減衰HITおよび強制HITで長期外挙動（訓練 horizon の≥25倍）に対して安定性と精度を提供するか。
• RQ3 PITO/PIITOは3D乱流における精度・安定性・効率の点で物理情報付きFNO（PIFNO）と比べてどうか。
• RQ4 モデルはデータからSGS係数を自動的に学習できるか。
• RQ5 PIFNOと比べたときのメモリ・パラメータ効率の向上はどれくらいか。

主な発見

• PITOとPIITOは、初期条件が定常の減衰HITにおいてPIFNOより PDE・テスト損失が小さい。
• 両モデルは訓練を超えた長期外挙動で最大250時間ステップの正確性を維持する。
• PITOとPIITOはエネルギースペクトルと渦構造の再現性でPIFNOを上回り、特に高波数および後期時刻で優れる。
• 物理情報付きViTOはPIFNOの約31.5%のパラメータ、 memoryは約79.5%～91.3%の削減と、PIFNOより大幅に少ないGPUメモリを要する。
• 推論時間は約1.56～1.63秒で、従来のLES（Smagorinsky）法に比べ約40倍の速度向上を提供；PIITOが訓練と推論で最も効率的。
• PITOとPIITOは単一データクラスからSGS係数を自動的に学習でき、減衰および強制HIT条件の両方で良好な性能を発揮する。