[논문 리뷰] Physics-aware deep neural networks for surrogate modeling of turbulent natural convection

Didier Lucor, Atul Agrawal외 1명|arXiv (Cornell University)|2021. 03. 05.

Model Reduction and Neural Networks참고 문헌 35인용 수 29

한 줄 요약

본 논문은 난류 Rayleigh-Bénard 대류의 대리모델로서 physics-informed neural networks(PINNs)를 고찰하고, 학습을 개선하기 위해 padding과 완화된 비압축성을 도입한다; 제한된 DNS 데이터만으로도 매우 높은 Rayleigh 수에서 높은 정확도를 보고한다.

ABSTRACT

Recent works have explored the potential of machine learning as data-driven turbulence closures for RANS and LES techniques. Beyond these advances, the high expressivity and agility of physics-informed neural networks (PINNs) make them promising candidates for full fluid flow PDE modeling. An important question is whether this new paradigm, exempt from the traditional notion of discretization of the underlying operators very much connected to the flow scales resolution, is capable of sustaining high levels of turbulence characterized by multi-scale features? We investigate the use of PINNs surrogate modeling for turbulent Rayleigh-B{é}nard (RB) convection flows in rough and smooth rectangular cavities, mainly relying on DNS temperature data from the fluid bulk. We carefully quantify the computational requirements under which the formulation is capable of accurately recovering the flow hidden quantities. We then propose a new padding technique to distribute some of the scattered coordinates-at which PDE residuals are minimized-around the region of labeled data acquisition. We show how it comes to play as a regularization close to the training boundaries which are zones of poor accuracy for standard PINNs and results in a noticeable global accuracy improvement at iso-budget. Finally, we propose for the first time to relax the incompressibility condition in such a way that it drastically benefits the optimization search and results in a much improved convergence of the composite loss function. The RB results obtained at high Rayleigh number Ra = 2 $\bullet$ 10 9 are particularly impressive: the predictive accuracy of the surrogate over the entire half a billion DNS coordinates yields errors for all flow variables ranging between [0.3% -- 4%] in the relative L 2 norm, with a training relying only on 1.6% of the DNS data points.

연구 동기 및 목표

• NS의 Boussinesq 근사로 모델링된 3D 난류 자연 대류의 대리모델로서 PINNs의 타당성을 평가한다.
• 부분 DNS 데이터로부터 흐름장을 정확히 재현하는 데 필요한 데이터 요구량과 잔류 샘플링(residual-sampling) 전략을 정량화한다.
• 학습을 규칙화하기 위해 레이블이 있는 데이터 영역 주위에 잔류를 분포시키는 padding 기법을 도입한다.
• 최적화 수렴 및 대리모델 정확도를 향상시키기 위해 비압축성 제약의 완화를 제안한다.

제안 방법

• PINN 프레임워크 내에서 Boussinesq 근사 하의 비정적 Navier–Stokes 방정식을 형식화한다.
• 해결 벡터 u = (v, p, T)을 근사하기 위해 다층 퍼셉트론을 사용하고 자동 미분으로 PDE 잔차를 계산한다.
• 레이블 데이터와 PDE 잔차를 결합한 손실 함수로 학습하며, 단계적 학습률 사이클을 갖는 Adam을 사용한다.
• 레이블 데이터가 있는 영역 주위에 잔류 평가 포인트를 분포시키는 padding 전략을 도입하여 경계 정확도를 향상시킨다.
• 추가적인 학습 제약을 제공하기 위해 보조 운반 온도 변수 T̄ = 1 − T를 추가한다.
• 복합 손실의 최적화 탐색과 수렴을 개선하기 위해 비압축성 조건을 완화한다.

실험 결과

연구 질문

• RQ1 부분 DNS 데이터로 3D 난류 자연 대류를 고 Rayleigh 수에서 정확하게 대리모델링할 수 있는가?
• RQ2 난류 RB 대류에 대해 PINNs를 학습시킬 때 레이블 데이터와 PDE 잔차를 가장 잘 균형 있게 조합하는 데이터 및 잔류 샘플링 전략은 무엇인가?
• RQ3 레이블링된 데이터 주변의 padding 전략이 PINN 정확도를 향상시키는가, 특히 학습 경계 근처에서 그렇다면 어느 정도인가?
• RQ4 비압축성 제약의 완화가 최적화 수렴과 대리모델 성능을 향상시키는가?

주요 결과

• 학습에 DNS 포인트의 단 1.6%만 사용했을 때, 고-Ra RB 대류의 흐름 변수에 대해 상대 L2 오차가 0.3%에서 4%의 범위를 달성했다.
• PDE 잔차가 학습 초기에 지배적이며, 데이터-레이블 오차는 사이클이 진행될수록 더 규칙적으로 수렴한다.
• 레이블 데이터 영역 주위에 잔류 포인트를 분포시키는 padding 기술을 도입하여 예산 동등한 경우에 전반적인 정확도 향상을 뚜렷하게 얻었다.
• 비압축성 제약의 완화가 PINN 손실의 최적화 탐색 및 수렴을 상당히 개선한다.
• Ra = 2×10^9에서, DNS 데이터의 일부로 학습된 대리모델은 반십억 DNS 좌표에 걸친 전체 필드를 높은 정밀도로 예측할 수 있다.