[논문 리뷰] Solving Inverse Problems in Steady-State Navier-Stokes Equations using Deep Neural Networks

Tiffany Fan, Kailai Xu외 2명|arXiv (Cornell University)|2020. 08. 30.

Model Reduction and Neural Networks참고 문헌 15인용 수 9

한 줄 요약

이 논문은 정 steady-state Navier-Stokes 방정식에서의 역문제를 해결하기 위해 딥 뉴럴 네트워크(DNNs)와 자동 미분을 결합한 딥 러닝 프레임워크를 제안한다. PDE 해법기와 DNNs를 모두 미분 가능한 계산 그래프로 표현함으로써, 이 방법은 희소하고 노이즈가 있는 속도 관측치로부터 공간에 따라 변하는 점성도 및 열전도도 필드를 추론하기 위해 기울기 기반 최적화를 가능하게 하며, 제한된 데이터 조건에서도 효과적인 정규화와 정확한 재구성 성능을 입증한다.

ABSTRACT

Inverse problems in fluid dynamics are ubiquitous in science and engineering, with applications ranging from electronic cooling system design to ocean modeling. We propose a general and robust approach for solving inverse problems in the steady-state Navier-Stokes equations by combining deep neural networks and numerical partial differential equation (PDE) schemes. Our approach expresses numerical simulation as a computational graph with differentiable operators. We then solve inverse problems by constrained optimization, using gradients calculated from the computational graph with reverse-mode automatic differentiation. This technique enables us to model unknown physical properties using deep neural networks and embed them into the PDE model. We demonstrate the effectiveness of our method by computing spatially-varying viscosity and conductivity fields with deep neural networks (DNNs) and training the DNNs using partial observations of velocity fields. We show that the DNNs are capable of modeling complex spatially-varying physical fields with sparse and noisy data. Our implementation leverages the open access ADCME, a library for solving inverse modeling problems in scientific computing using automatic differentiation.

연구 동기 및 목표

• 속도장의 부분적이고 간접적인 관측치만 제공될 때 유체역학에서 점성도와 같은 공간에 따라 변하는 물리적 성질을 추정하는 데 도전하는 것.
• 정 steady-state Navier-Stokes 시뮬레이션에서의 역문제가 악조건이거나 고비용이라는 문제를 해결하는 것.
• 딥 뉴럴 네트워크와 수치적 PDE 해법기를 통합하여 일반적이고 견고한 역모델링 프레임워크를 개발하는 것.
• 자기 미분을 활용하여 PDE 해법기와 DNN을 모두 거쳐 기울기를 효율적으로 계산하고 최적화에 활용하는 것.
• 희소하고 노이즈가 있는 데이터로부터 복잡한 공간에 따라 변하는 물리적 필드를 재구성하는 데 DNNs가 정규화기로 효과적으로 기능하는지 입증하는 것.

제안 방법

• PDE가 제약 조건이 되고, 관측된 속도장과 예측된 속도장 간의 차이를 측정하는 손실 함수가 되는 제약 최적화 문제로 역문제를 공식화하는 것.
• PDE 해법기와 DNN을 모두 기울기 계산이 가능한 연산자를 포함한 계산 그래프로 표현하여 역방향 자동 미분을 가능하게 하는 것.
• 자기 미분을 사용하여 PDE 해법기의 뉴턴 반복을 포함한 전체 시뮬레이션 파이프라인을 거쳐 기울기를 역전파하는 것.
• 기울기 기반 최적화를 통해 손실 함수를 최적화함으로써 DNN이 공간에 따라 변하는 점성도 또는 열전도도 필드를 예측하도록 훈련하는 것.
• 자기 미분과 유한요소법을 지원하는 오픈소스 라이브러리 ADCME와 AdFem를 사용하여 프레임워크를 구현하는 것.
• 세 가지 테스트 케이스에 적용: 순수 Navier-Stokes, 열방정식이 포함된 Navier-Stokes, 운반 방정식이 포함된 Navier-Stokes로 유연성을 입증하는 것.

실험 결과

연구 질문

• RQ1 희소하고 노이즈가 있는 속도 관측치로부터 정 steady-state Navier-Stokes 유동에서 공간에 따라 변하는 점성도 필드를 DNN이 효과적으로 재구성할 수 있는가?
• RQ2 DNN을 정규화기로 사용할 경우, 제한된 데이터 조건에서 역문제의 안정성과 정확도가 어떻게 향상되는가?
• RQ3 PDE 해법기를 통해 자기 미분을 적용하면 DNN의 엔드 투 엔드 훈련이 물리적 성질 추론에 얼마나 효과적으로 가능해지는가?
• RQ4 제안된 프레임워크는 열전달이나 입자 운반과 같은 추가 물리 법칙을 포함한 연립 시스템을 다룰 수 있는가?
• RQ5 고해상도 시뮬레이션에 적용할 경우, 메모리 비용과 비凸성 등의 계산 및 수치적 과제는 어떤가?

주요 결과

• DNN 기반 접근법은 x좌표에 따라 층구조를 가진 공간에 따라 변하는 점성도 필드를 성공적으로 재구성하였으며, 관측치로 22개의 희소한 속도 관측치만 사용된 상황에서도 가능했다.
• 100개의 최적화 단계 이후에도 재구성 오차가 낮게 유지되었으며, 그 결과는 그림 9에 나타나 있다.
• DNN을 정규화기로 사용함으로써 희소한 데이터 조건에서 픽셀 단위의 근사치에 비해 역문제의 안정성과 수렴성은 크게 향상되었다.
• Navier-Stokes에 열방정식과 운반 방정식을 추가한 다중 연립 물리계를 다룰 수 있는 데에 있어 프레임워크의 강건성과 일반화 능력이 입증되었다.
• 메모리 사용량이 많고 비凸 최적화 문제와 같은 과제가 있었음에도 불구하고, 특히 DNN에 층구조 가정(예: 층상 모델)을 도입함으로써 방법은 효과적으로 유지되었다.
• ADCME와 AdFem를 사용한 구현은 효율적인 기울기 계산을 가능하게 하였으며, 과학 계산 분야의 다른 역문제에 쉽게 확장 가능했다.