[논문 리뷰] A deep neural network approach on solving the linear transport model under diffusive scaling

Liu Liu, Tieyong Zeng외 1명|arXiv (Cornell University)|2021. 02. 24.

Model Reduction and Neural Networks참고 문헌 25인용 수 4

한 줄 요약

이 논문은 전산 수치 방법으로 어려운 다스케일 운동 방정식인 확산 스케일링 하에서의 선형 운반 방정식을 해결하기 위해 물리 기반 신경망(PINN) 프레임워크를 제안한다. 깊은 신경망을 훈련시켜 PDE, 초기 조건 및 경계 조건, 물리적 제약 조건을 복합 손실 함수를 통해 만족하도록 함으로써, 해석적 해로의 점별 수렴을 달성하며, 네트워크 수렴 시 손실이 사라진다는 이론적 증명을 제공한다.

ABSTRACT

In this work, we propose a learning method for solving the linear transport equation under the diffusive scaling. Due to the multiscale nature of our model equation, the model is challenging to solve by using conventional methods. We employ the physical informed neural network (PINN) framework, a mesh-free learning method that can numerically solve partial differential equations. Compared to conventional methods (such as finite difference or finite element type), our proposed learning method is able to obtain the solution at any given points in the chosen domain accurately and efficiently, which enables us to better understand the physics underlying the model. In our framework, the solution is approximated by a neural network that satisfies both the governing equation and other constraints. The network is then trained with a combination of different loss terms. Using the approximation theory and energy estimates for kinetic models, we prove theoretically that the total loss vanishes as the neural network converges, upon which the neural network approximated solution converges pointwisely to the analytic solution of the linear transport model. Numerical experiments for two benchmark examples are conducted to verify the effectiveness and accuracy of our proposed method.

연구 동기 및 목표

• 확산 스케일링 하에서의 선형 운반 방정식의 다스케일 성질로 인한 수치적 과제를 해결하기 위해.
• 영역을 이산화하지 않고도 공간-시간-속도 영역의 임의의 점에서 정확한 해를 계산할 수 있는 메쉬 없는 데이터 기반 방법을 개발하기 위해.
• 손실 함수가 0에 수렴할 때 신경망 해가 해석적 해로 점별 수렴한다는 것을 이론적으로 증명하기 위해.
• 복잡한 초기 조건 및 경계 조건을 가진 벤치마크 문제에서 방법의 정확성과 강건성을 입증하기 위해.
• 심층 운동 이론 지식이 필요로 하는 전통적인 점근 보존 방법에 대한 실용적이고 쉽게 적용 가능한 대안을 제공하기 위해.

제안 방법

• 해는 주어진 PDE, 초기 조건, 경계 조건을 손실 함수에 직접 통합한 깊은 신경망으로 근사된다.
• 손실 함수는 PDE 잔여항, 초기 조건 잔여항, 경계 조건 잔여항의 조합이며, 경쟁하는 손실 항목을 균형 잡기 위해 가변 가중치를 사용한다.
• 자동 미분를 활용한 효율적 역전파를 통해 경사 하강법으로 네트워크를 훈련시킨다.
• 이론적 분석은 운동 모델에 대한 근사 이론과 에너지 추정을 사용하여 총 손실이 0이 되면 진짜 해로의 점별 수렴이 일어남을 증명한다.
• 기울기 크기를 기반으로 손실 항목의 가중치를 동적으로 조정함으로써 훈련을 안정화시키기 위해 가중치 균형 조정 알고리즘을 사용한다.
• 정확도와 수렴 성능을 검증하기 위해 두 가지 벤치마크 문제에 방법을 적용한다.

실험 결과

연구 질문

• RQ1 물리 기반 신경망은 확산 스케일링 하에서 뻣뻣하고 다스케일 운동 PDE인 선형 운반 방정식을 효과적으로 해결할 수 있는가?
• RQ2 총 손실 함수가 0에 수렴할 때 PINN 프레임워크는 진짜 해석적 해로 수렴하는가?
• RQ3 이 문제에 대해 기존의 유한 차분 또는 유한 요소 방법과 비교해 본다면, 제안된 방법은 정확도와 효율성 면에서 어떻게 다른가?
• RQ4 메쉬 생성이나 영역 절단 없이도 복잡한 초기 조건 및 경계 조건을 처리할 수 있는가?
• RQ5 적응형 손실 가중치가 훈련의 안정성과 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• PINN 프레임워크의 총 손실 함수는 신경망 수렴 시 사라지며, 이는 운동 모델에 대한 근사 이론과 에너지 추정을 통해 증명된다.
• 총 손실이 0에 수렴할 때 신경망 해는 선형 운반 방정식의 해석적 해로 점별 수렴한다.
• 두 가지 벤치마크 문제에 대한 수치 실험 결과는 도전적인 초기 조건 및 경계 조건 하에서도 매우 높은 정확도를 보이며, 도메인 내 임의의 점에서 해를 제공함을 보여준다.
• 이 방법은 메쉬 없이 구현되며, 특히 고차원 속도 공간이나 비국소 충돌 연산자가 있는 경우 전통적 방법의 계산 부담을 피한다.
• 적응형 가중치 균형 조정 알고리즘이 훈련의 안정성과 수렴 속도를 향상시킴을 수치 결과로 입증하였다.
• 특수 수치 기법이나 속도 도메인 절단 없이도 뻣뻣함과 복잡한 기하학적 구조를 다루는 데서 기존 방법보다 뛰어난 성능을 보였다.