[논문 리뷰] Physics-Informed Transformer operator for the prediction of three-dimensional turbulence

Zhihong Guo, Sunan Zhao외 3명|arXiv (Cornell University)|2026. 01. 27.

Model Reduction and Neural Networks인용 수 0

한 줄 요약

본 논문은 Vision Transformer(ViT) 원리를 기반으로 한 물리 정보 기반 Transformer 연산자(PITO와 PIITO)를 도입하여 손실 함수에 LES 방정식을 내재화함으로써 3D 난류를 예측하고, PIFNO보다 안정적인 장기 예측과 더 높은 효율을 달성한다.

ABSTRACT

Data-driven turbulence prediction methods often face challenges related to data dependency and lack of physical interpretability. In this paper, we propose a physics-informed Transformer operator (PITO) and its implicit variant (PIITO) for predicting three-dimensional (3D) turbulence, which are developed based on the vision Transformer (ViT) architecture with an appropriate patch size. Given the current flow field, the Transformer operator computes its prediction for the next time step. By embedding the large-eddy simulation (LES) equations into the loss function, PITO and PIITO can learn solution operators without using labeled data. Furthermore, PITO can automatically learn the subgrid scale (SGS) coefficient using a single set of flow data during training. Both PITO and PIITO exhibit excellent stability and accuracy on the predictions of various statistical properties and flow structures for the situation of long-term extrapolation exceeding 25 times the training horizon in decaying homogeneous isotropic turbulence (HIT), and outperform the physics-informed Fourier neural operator (PIFNO). Furthermore, PITO exhibits a remarkable accuracy on the predictions of forced HIT where PIFNO fails. Notably, PITO and PIITO reduce GPU memory consumption by 79.5\% and 91.3\% while requiring only 31.5\% and 3.1\% of the parameters, respectively, compared to PIFNO. Moreover, both PITO and PIITO models are much faster compared to traditional LES method.

연구 동기 및 목표

• 데이터 기반 난류 예측의 동기를 제시하고 데이터 의존성 및 해석 가능성과 관련된 문제를 다룬다.
• ViTO를 기반으로 3D 난류를 모델링하고 계산 비용을 줄이기 위해 PITO와 PIITO를 개발한다.
• 자라난 데이터가 많지 않아도 물리 정보를 학습할 수 있도록 학습 손실에 대형 와류 시뮬레이션(LES) 방정식을 내재화한다.
• 훈련 중에 SGS 계수를 자동으로 학습한다.
• 감쇠 및 강제된 3D HIT의 장기 외삽에서의 안정성과 정확성을 입증하고 PIFNO와 비교한다.

제안 방법

• 3D 흐름 영역을 겹치지 않는 입방 체 패치로 분할하여 Transformer 토큰(ViTO)을 형성한다.
• 패치 크기 P인 ViT3D 스택과 입력을 잠재 공간에 매핑하는 승강(리프팅) 층을 사용한 뒤, 다중 헤드 자기 주의(MHSA)와 흐름장을 재구성하는 투영 층을 적용한다.
• 명시적 반복 업데이트 v_{l+1}=v_{l}+σ(K(v_{l};θ_{l}))를 L개의 Transformer 층(PITO)으로 도입하고, 가중치 공유 임의 변형(PIITO)에서 v(x,(l+1)δt)=v(x,lδt)+δt σ(K(v(x,lδt);θ))를 사용한다.
• L1 및 L2 항(발산-무정합 조건 및 SGS 응력으로 인한 운동량 방정식)을 PDE 손실에 LES 지배 방정식을 포함하고, ∂t의 시간 차분 근사를 사용한다.
• 정적 HIT를 위한 스펙트럴 강제 조건을 적용하고 질량 보존을 만족시키기 위해 발산-자유 공간으로 출력을 투영한다.
• 감쇠 및 강제 HIT에서 물리 정보 ViTO를 PIFNO와 비교하고, 학습 효율성, PDE/테스트 손실, 추론 성능을 보고한다.

실험 결과

연구 질문

• RQ1 PITO/PIITO가 학습 horizon을 넘어서는 3D 난류 통계와 구조를 정확히 예측할 수 있는가?
• RQ2 감쇠된 HIT 및 강제된 HIT에서 학습 horizon의 약 25배 이상에 대한 장기 외삽에서 물리 정보 Transformer 연산자가 안정성과 정확성을 제공하는가?
• RQ3 3D 난류에서 PITO/PIITO가 정확성, 안정성 및 효율성 면에서 물리 정보 FNO(PIFNO)와 어떻게 비교되는가?
• RQ4 모델이 데이터로부터 SGS 계수를 자동으로 학습할 수 있는가?
• RQ5 PIFNO와 비교했을 때 메모리 및 매개변수 효율성은 어느 정도인가?

주요 결과

• PITO와 PIITO는 정적 초기 조건을 가진 감쇠 HIT에서 PIFNO보다 PDE 및 테스트 손실이 더 낮다.
• 두 모델 모두 학습 기간의 250시간 보폭까지의 장기 외삽에서 정확한 예측을 유지한다.
• 에너지 스펙트럼과 와류 구조 재현에서 PIFNO를 능가하며 특히 고주파 수와 더 늦은 시간에서 우월하다.
• 물리 정보 ViTO는 PIFNO의 매개변수의 약 31.5% 및 3.1% 수준의 매개변수와 메모리 감소(대략 79.5% 및 91.3%의 메모리 감소)를 달성한다.
• 추론 시간은 약 1.56–1.63초로 전통적인 LES(Smagorinsky) 방법에 비해 약 40배의 속도 향상을 제공한다; PIITO가 학습 및 추론에서 가장 효율적이다.
• PITO와 PIITO는 단일 데이터 클래스로부터 SGS 계수를 자동으로 학습할 수 있으며, 감쇠 HIT와 강제 HIT 조건 모두에서 잘 작동한다.