[논문 리뷰] Integrating Neural Operators with Diffusion Models Improves Spectral Representation in Turbulence Modeling

Vivek Oommen, Aniruddha Bora외 2명|arXiv (Cornell University)|2024. 09. 13.

Energy Load and Power Forecasting인용 수 6

한 줄 요약

이 논문은 신경 연산자(neural operators)와 확산 모델(diffusion models)을 결합하여 난류 대리 모형의 스펙트럴 바이어스를 극복하고, 여러 데이터셋 및 신경 연산자 아키텍처 전반에 걸쳐 더 나은 에너지 스펙트럼과 스펙트럴 충실도를 달성한다.

ABSTRACT

We integrate neural operators with diffusion models to address the spectral limitations of neural operators in surrogate modeling of turbulent flows. While neural operators offer computational efficiency, they exhibit deficiencies in capturing high-frequency flow dynamics, resulting in overly smooth approximations. To overcome this, we condition diffusion models on neural operators to enhance the resolution of turbulent structures. Our approach is validated for different neural operators on diverse datasets, including a high Reynolds number jet flow simulation and experimental Schlieren velocimetry. The proposed method significantly improves the alignment of predicted energy spectra with true distributions compared to neural operators alone. This enables the diffusion models to stabilize longer forecasts through diffusion-corrected autoregressive rollouts, as we demonstrate in this work. Additionally, proper orthogonal decomposition analysis demonstrates enhanced spectral fidelity in space-time. This work establishes a new paradigm for combining generative models with neural operators to advance surrogate modeling of turbulent systems, and it can be used in other scientific applications that involve microstructure and high-frequency content. See our project page: vivekoommen.github.io/NO_DM

연구 동기 및 목표

• 신경 연산자가 대리 난류 모델링에서의 스펙트럴 한계를 동기 부여하고 다룬다.
• 신경 연산자 출력에 확산 모델을 조건화하여 고주파 내용을 복원하는 프레임워크를 제안한다.
• 다양한 신경 연산자 아키텍처와 다양한 난류 흐름 데이터셋 전반에 걸쳐 이 접근법을 시연한다.
• 스펙트럴 통계 및 POD 분석을 통해 신경 연산자만과 비교하여 개선을 정량화한다.

제안 방법

• 함수 공간 간 매핑을 학습하고 지배적인 저주파 모드를 포착하는 신경 연산자를 학습한다.
• 신경 연산자의 출력에 조건화된 점수 기반 확산 모델을 학습하여 denoising score matching을 통해 실제 분포를 근사한다.
• Annealed Langevin dynamics 샘플링을 확산 모델 내에서 사용하여 신경 연산자 선험에 조건화된 예측을 생성한다.
• Kolmogorov 흐름, buoyancy-driven transport, 난류 날개후방의 와류, 3D 난류 제트, Schlieren 속도계 데이터에서 프레임워크를 평가한다.
• 에너지 스펙트럼과 POD 모드를 ground truth와 비교하여 스펙트럴 충실도를 평가한다.

실험 결과

연구 질문

• RQ1 확산 모델이 신경 연산자 출력에 조건화되어 난류 흐름에서의 스펙트럴 바이어스와 과도한 평활화를 완화할 수 있는가?
• RQ2 조건화된 확산 모델이 다양한 흐름 상태와 신경 연산자 아키텍처에서 에너지 스펙트럼과 POD 모드를 ground truth와 더 잘 정렬시키는가?
• RQ3 2D/3D 흐름 및 Schlieren 실험 데이터와 같은 실험 데이터에서도 이 접근법이 robust한가?
• RQ4 대리 난류 모델링을 위한 신경 연산자와 확산 기반 보정 사이의 계산 상의 트레이드오프는 무엇인가?

주요 결과

• 신경 연산자에 조건화된 확산 모델은 고주파 내용 회복 및 신경 연산자 예측에서 관찰되는 Gibbs 진동을 감소시킨다.
• 확산 조건부 예측은 여러 사례와 다양한 신경 연산자 아키텍처(FNO, UNet, MATCHO)에서 실제 에너지 스펙트럼과 더 잘 일치하는 것을 보여준다.
• POD 분석은 스펙트럴 충실도가 향상되고 에너지 감소 및 모드가 신경 연산자 단독보다 더 정확하다는 것을 나타낸다.
• 이 접근법은 2000에서 10^6의 레이놀즈 수에 대해 작동하며 2D/3D LES 및 Schlieren 실험 데이터를 포함한다.
• 확산 모델은 추론당 시간이 신경 연산자보다 더 걸리지만 DNS/LES 해결기보다는 여전히 상당히 빠르다.