[논문 리뷰] Diffusion model based data generation for partial differential equations

Rucha Apte, Sheel Nidhan외 2명|arXiv (Cornell University)|2023. 06. 19.

Computational Physics and Python Applications인용 수 4

한 줄 요약

이 논문은 2차원 푸아송 및 라우지에르-스톡스 방정식에 대한 고해상도 해를 합성하는 데에 확산 모델 기반의 데이터 생성 프레임워크를 제안한다. 노이즈 제거 확산 암시 모델(DDIM)을 사용하여 물리 기반 시뮬레이션의 해를 합성한다. 물리 기반 제약 조건—PDE 잔차 최소화 및 해법기 비교—을 적용함으로써 물리적으로 일관되고 다양한, 통계적으로 정확한 합성 데이터를 생성하며, 라우지에르-스톡스 방정식의 경우 MSE 값이 최소 8×10⁻³, 푸아송 방정식의 경우 1.5×10⁻⁴에 이르게 된다.

ABSTRACT

In a preliminary attempt to address the problem of data scarcity in physics-based machine learning, we introduce a novel methodology for data generation in physics-based simulations. Our motivation is to overcome the limitations posed by the limited availability of numerical data. To achieve this, we leverage a diffusion model that allows us to generate synthetic data samples and test them for two canonical cases: (a) the steady 2-D Poisson equation, and (b) the forced unsteady 2-D Navier-Stokes (NS) {vorticity-transport} equation in a confined box. By comparing the generated data samples against outputs from classical solvers, we assess their accuracy and examine their adherence to the underlying physics laws. In this way, we emphasize the importance of not only satisfying visual and statistical comparisons with solver data but also ensuring the generated data's conformity to physics laws, thus enabling their effective utilization in downstream tasks.

연구 동기 및 목표

• 물리 기반 기계 학습에서의 데이터 부족 문제를 해결하기 위해 확산 모델을 사용하여 합성 시뮬레이션 데이터를 생성한다.
• 생성된 데이터가 해법기 출력의 통계적 또는 시각적 유사성 외에도 기초 물리 법칙을 따르도록 보장한다.
• 무조건적 확산 모델이 표준 PDE에 대해 물리적으로 일관된 해를 생성하는 데의 가능성을 입증한다.
• 물리 기반 필터링 기법(예: PDE 잔차 또는 해법기 비교)이 생성된 분포에서 고품질의 물리적으로 타당한 샘플을 선별하는 데 얼마나 효과적인지 평가한다.
• 향후 초해상도 및 매개변수 조절 기능을 포함한 확장이 가능한 과학 기반 기계 학습에서의 확장 가능한, 일반화 가능한 데이터 생성 기반을 마련한다.

제안 방법

• 가우시안 노이즈에서 출발하여 U-넷 아키텍처를 사용한 노이즈 제거 확산 암시 모델(DDIM)을 활용해 합성 PDE 해를 생성한다.
• 1000단계의 전진 단계와 500단계의 역방향 샘플링 단계를 거치며 코시노이드 노이즈 스케줄을 적용하여 품질을 유지하면서도 생성 속도를 향상시킨다.
• 2차원 푸아송 방정식의 경우, 해 $ u $와 소스 항 $ f $가 U-넷 입력에 별도의 채널로 입력된다.
• 시간에 따라 변화하는 라우지에르-스톡스 문제의 경우, 여러 시점의 값을 U-넷 입력에 별도의 채널로 인코딩한다.
• 물리 기반 필터링을 적용: 푸아송의 경우, PDE 잔차 MSE($ |\nabla^2 u - f| $)가 최소인 샘플을 선택하며, 라우지에르-스톡스의 경우 생성된 스냅샷을 고전적 해법기 출력과 비교한다.
• 랜덤 노이즈에서 노이즈 제거 출력을 생성하기 위해 500단계의 DDIM 샘플링 프로세스를 사용하여 효율적이고 다양한 샘플 생성을 가능하게 한다.

Figure 1: Four $[f_{\mathrm{generated}},u_{\mathrm{generated}}]$ pairs generated from diffusion model (first two columns from left), $u_{\mathrm{solver}}$ generated from the corresponding $f$ (third column), PDE residual calculated using generated $[f,u]$ pairs (fourth column). $\mathrm{MSE}$ of PDE

실험 결과

연구 질문

• RQ1 확산 모델은 고전적 해법기 출력과 시각적·통계적으로 유사한 PDE에 대한 합성 데이터를 생성할 수 있는가?
• RQ2 훈련 중에 물리 법칙을 명시적으로 인코딩하지 않더라도, 확산 모델이 생성한 데이터가 기초 물리 법칙을 얼마나 잘 따르는가?
• RQ3 물리 기반 사후 처리 필터링(예: PDE 잔차 또는 해법기 비교)이 물리적으로 일관된 샘플을 선별하는 데 얼마나 효과적인가?
• RQ4 생성된 데이터가 과학 계산 분야의 후속 기계 학습 작업에 유용하기 위해 충분한 다양성과 새로운 특성을 보일 수 있는가?
• RQ5 표준 PDE인 푸아송 및 라우지에르-스톡스 방정식에 대해, 확산 모델이 생성한 해와 해법기 출력의 해 사이에 정량적·정성적 차이가 무엇이 있는가?

주요 결과

• 확산 모델은 2차원 푸아송 및 2차원 라우지에르-스톡스 방정식 양쪽 모두에 대해 시각적·통계적으로 일관된 샘플을 성공적으로 생성하였다.
• 2차원 푸아송 방정식의 경우, 격자 전역에서 PDE 잔차 MSE가 최소 1.5×10⁻⁴에 이르며, 이는 기초 방정식을 강력하게 따르고 있음을 시사한다.
• 2차원 라우지에르-스톡스 비산도-운반 방정식의 경우, 첫 네 시점에서 확산 모델이 생성한 해와 해법기 출력 간의 MSE는 약 8×10⁻³이었다.
• MSE가 높은 경우(0.045)에도 유사한 유동 역학적 패턴이 관찰되었으며, [0.5, 0.5] 부근에서 소용돌이가 뭉쳐지는 현상이 생성된 데이터와 해법기 출력 모두에서 관찰되었다.
• 확산 모델이 생성한 평균 비산도장은 외부 힘 함수에 의해 유도된 기울어진 패치 구조를 정성적으로 재현하였지만, 해법기 데이터에 비해 양의 비산도 패치가 더 두드러졌다.
• 시각적 검토를 통해 생성된 샘플이 높은 다양성과 독립적인 특징을 보이며, 솔루션 공간의 효과적인 탐색이 이루어졌음을 확인하였다.

Figure 2: Diffusion- and solver-generated vorticity snapshots for 2-D forced NS system. Top two rows correspond to $\mathrm{MSE}$ $\approx 8\times 10^{-3}$ between solver-generated and diffusion-generated snapshots. Bottom two rows correspond to $\mathrm{MSE}\approx 0.045$ .