[논문 리뷰] Combining Differentiable PDE Solvers and Graph Neural Networks for Fluid Flow Prediction

Filipe de Avila Belbute-Peres, Thomas D. Economon외 1명|arXiv (Cornell University)|2020. 07. 08.

Advanced Graph Neural Networks참고 문헌 26인용 수 11

한 줄 요약

이 논문은 비압축성 유체역학 시뮬레이션을 위한 하이브리드 딥러닝 프레임워크를 제안한다. 이 프레임워크는 그래프 신경망(GCN) 내부에 미분 가능하고粗해상도인 CFD 시뮬레이터를 통합하여 높은 정확도와 일반화 능력을 갖춘 유체 흐름 예측을 가능하게 한다. 비정규격 메esh에서 GCN와 내장된 CFD 시뮬레이터를 함께 훈련시킴으로써, 전체 CFD 시뮬레이션보다 빠른 추론 속도를 확보하면서도, 훈련 데이터에 존재하지 않은 강한 충격파와 같은 새로운 물리 조건에 대해 순수 기계학습 모델보다 훨씬 뛰어난 일반화 성능을 보인다.

ABSTRACT

Solving large complex partial differential equations (PDEs), such as those that arise in computational fluid dynamics (CFD), is a computationally expensive process. This has motivated the use of deep learning approaches to approximate the PDE solutions, yet the simulation results predicted from these approaches typically do not generalize well to truly novel scenarios. In this work, we develop a hybrid (graph) neural network that combines a traditional graph convolutional network with an embedded differentiable fluid dynamics simulator inside the network itself. By combining an actual CFD simulator (run on a much coarser resolution representation of the problem) with the graph network, we show that we can both generalize well to new situations and benefit from the substantial speedup of neural network CFD predictions, while also substantially outperforming the coarse CFD simulation alone.

연구 동기 및 목표

• 순수 딥러닝 모델이 훈련 분포를 초월한 유체역학 시뮬레이션에서 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 고정밀도 CFD 시뮬레이션의 계산 비용을 줄이면서도 물리적 정확성을 유지하기 위해.
• 미분 가능하고 저해상도인 CFD 시뮬레이터를 그래프 신경망 내의 학습 가능한 모듈로 통합하여 시뮬레이션 정밀도를 향상시키기 위해.
• 첨도 방법을 통해 기반으로 하는 기울기 기반 최적화를 통해 GCN과 저해상도 메쉬 입력을 종합적으로 훈련시킬 수 있도록 하기 위해.
• 하이브리드 모델이 순수 GCN 기준 모델보다 더 나은 일반화 능력을 보이며, 단독으로 저해상도 CFD 시뮬레이션보다도 새로운 물리적 행동에 대해 더 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 모델은 CFD 시뮬레이션에서 흔히 사용되는 비정규격이고 비균일한 메쉬 위에서 직접 작동하는 그래프 컬러레이션 네트워크(GCN)를 사용한다.
• 미분 가능한 저해상도 CFD 시뮬레이터가 GCN 내부의 미분 가능한 레이어로 통합되어 시뮬레이션을 거쳐 기울기 역전파가 가능하도록 한다.
• 첨도 방법을 사용하여 기울기 기반 최적화를 통해 GCN의 훈련과 함께 저해상도 메쉬를 종합적으로 최적화한다.
• GCN는 저해상도 메쉬 위의 특징을 처리하고, CFD 시뮬레이터는 물리적 동역학을 계산하며, 예측 결과는 원래 해상도로 업스케일링된다.
• 모든 시스템은 예측 결과와 고정밀도 기준 시뮬레이션 간의 손실 함수를 사용하여 종합적으로 훈련된다.
• CFD 해법기의 미분 가능성 덕분에 신경망과 메쉬 기하학을 함께 최적화할 수 있어 더 나은 일반화 성능을 달성한다.

실험 결과

연구 질문

• RQ1 미분 가능한 CFD 시뮬레이터와 GCN를 조합한 하이브리드 모델이 순수 GCN 또는 저해상도 CFD 시뮬레이션만을 사용한 경우보다 새로운 유체역학 시나리오에 대해 더 나은 일반화 능력을 보일 수 있는가?
• RQ2 GCN 아키텍처 내에 미분 가능한 PDE 해법기를 통합함으로써, 전체 CFD 시뮬레이션과 비교했을 때 예측 정확도와 추론 속도에 어떤 영향을 미치는가?
• RQ3 GCN와 저해상도 메쉬 입력을 종합적으로 훈련시키는 방식이, 예를 들어 강한 충격파와 같은 새로운 물리 조건에 대해 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 모델이 단순히 저해상도 시뮬레이션 결과를 보간하는 것 외에 더 많은 것을 학습하고 있는가, 아니면 단지 보간만 수행하고 있는가?
• RQ5 하이브리드 모델의 계산 비용은 전체 CFD 시뮬레이션과 순수 신경망 기준 모델에 비해 어떻게 비교되는가?

주요 결과

• CFD-GCN 모델은 훈련 데이터에 존재하지 않았던 큰 충격파가 포함된 테스트 케이스에서 순수 GCN 기준 모델보다 유의미하게 더 나은 일반화 능력을 보였다.
• 모델은 저해상도 CFD 시뮬레이션만을 사용한 경우보다 더 낮은 오차(1.4·10⁻²)를 기록하여 일반화 과제에서 더 낮은 오차(9.5·10⁻²)를 기록했다.
• CFD-GCN 모델은 테스트 오차 1.4·10⁻²을 기록하여 순수 GCN 기준 모델(1.9·10⁻²)보다 훨씬 낮은 오차를 기록하여 정확도 향상을 입증했다.
• 모델은 훈련 데이터에 존재하지 않았던 복잡한 유동 특징(충격파, 소용돌이 등)을 GCN 전용 모델보다 더 정확하게 예측할 수 있었다.
• 훈련 과정에서 저해상도 메쉬 기하학이 시각적으로 확인 가능한 방식으로 최적화되어 예측 품질을 향상시키며, 그 결과는 그림 12(부록)에서 확인할 수 있다.
• CFD-GCN 모델은 전체 CFD 시뮬레이션보다 약 20배 빠르며, 추론 시간의 85%는 CFD 시뮬레이션, 10%는 메쉬 업스케일링, 5%는 그래프 컨volution에 소요된다.