[논문 리뷰] VarNet: Variational Neural Networks for the Solution of Partial Differential Equations

Reza Khodayi-mehr, Michael M. Zavlanos|arXiv (Cornell University)|2019. 12. 16.

Model Reduction and Neural Networks참고 문헌 38인용 수 31

한 줄 요약

VarNet는 편미분방정식(PDE)를 해결하기 위한 변분 신경망 프레임워크를 제안한다. 이는 PDE의 적분(변분) 형태에 기반한 기존의 이산화되지 않은 손실 함수를 사용한다. 낮은 차수의 도함수와 PDE 잔차에 기반한 적응형 샘플링을 활용함으로써, 더 적은 학습 포인트와 뛰어난 병렬 처리 능력을 통해 정확하고 부드럽고 미분 가능한 해를 도출한다. 이는 효율적인 모델 순서 감소 및 최적화 및 제어 응용 분야에서 직접 활용 가능하게 한다.

ABSTRACT

In this paper we propose a new model-based unsupervised learning method, called VarNet, for the solution of partial differential equations (PDEs) using deep neural networks (NNs). Particularly, we propose a novel loss function that relies on the variational (integral) form of PDEs as apposed to their differential form which is commonly used in the literature. Our loss function is discretization-free, highly parallelizable, and more effective in capturing the solution of PDEs since it employs lower-order derivatives and trains over measure non-zero regions of space-time. Given this loss function, we also propose an approach to optimally select the space-time samples, used to train the NN, that is based on the feedback provided from the PDE residual. The models obtained using VarNet are smooth and do not require interpolation. They are also easily differentiable and can directly be used for control and optimization of PDEs. Finally, VarNet can straight-forwardly incorporate parametric PDE models making it a natural tool for model order reduction (MOR) of PDEs. We demonstrate the performance of our method through extensive numerical experiments for the advection-diffusion PDE as an important case-study.

연구 동기 및 목표

• 라벨이 있는 데이터나 전통적인 수치적 이산화에 의존하지 않고 모델 기반의 비지도 딥러닝 프레임워크를 개발하여 PDE를 해결하는 것.
• 고차수 도함수가 필요로 하고 희소 데이터에서 일반화 능력이 떨어지는 표준 PDE-NN 방법이 사용하는 미분형 손실 함수의 한계를 극복하는 것.
• 파arameter를 직접 신경망 입력에 통합함으로써 효율적이고 정확한 매개변수 PDE의 해를 도출하고, 모델 순서 감소(MOR)를 촉진하는 것.
• PDE 잔차 피드백에 기반한 적응형 샘플링 전략을 설계하여 공간-시간 학습 포인트를 선택함으로써 학습 효율성을 향상시키는 것.

제안 방법

• 공간-시간 영역에 대해 점별 잔차가 아닌, 낮은 차수의 도함수를 사용하고 적분하는 변분(적분) 형태 기반의 손실 함수를 제안한다.
• 신경망을 사용하여 전체 정의역에서 연속적이고 부드럽고 미분 가능한 함수로 PDE 해를 근사한다.
• PDE 잔차의 크기를 기반으로 학습 샘플을 선택하는 활성 학습 전략을 도입하여, 해가 가장 정확하지 않은 영역에 집중한다.
• 유한요소 기반의 형상 함수와 가우스-레지앙드르 적분을 사용하여 입방체 요소 위에서 변분 형태의 수치적 적분을 효율적으로 수행한다.
• 수학적 공간에서 물리적 공간으로의 좌표 변환의 야코비안을 통해 신경망 출력의 기울기를 체인 룰을 통해 유도한다.
• 매개변수를 네트워크의 추가 입력으로 간주함으로써 PDE의 직접적인 매개변수 해를 가능하게 하여, 빠른 평가 및 모델 순서 감소를 지원한다.

실험 결과

연구 질문

• RQ1 표준 잔차 기반의 미분형 손실 함수에 비해, PDE의 변분 형태를 사용하여 신경망 학습을 위한 더 효과적이고 안정적인 손실 함수를 정의할 수 있는가?
• RQ2 PDE 잔차에 기반한 적응형 샘플링 전략은 최소한의 학습 포인트로도 PDE의 신경망 학습 효율성과 정확도를 어떻게 향상시킬 수 있는가?
• RQ3 이 방법으로 학습된 신경망이 높은 정확도를 유지하면서도 부드럽고 미분 가능하며, PDE 제약 최적화 및 제어에 직접 활용 가능한가?
• RQ4 제안된 프레임워크는 자연스럽게 매개변수 PDE로 확장될 수 있는가? 이는 정확도를 희생시키지 않고도 빠른 감소된 순서 모델링을 가능하게 하는가?

주요 결과

• 변분 손실 함수는 낮은 차수의 도함수를 사용하고 영역에 대해 적분하므로 해의 정확도가 크게 향상된다.
• PDE 잔차 피드백에 기반한 적응형 샘플링을 통해 더 적은 학습 포인트로도 높은 정확도를 달성한다.
• VarNet가 생성한 해는 부드럽고 미분 가능하며, 보간이 필요 없어 최적화 및 제어 작업에 직접 활용할 수 있다.
• 매개변수를 네트워크 입력으로 간주함으로써 매개변수 PDE에 대한 효율적인 모델 순서 감소를 가능하게 하여 계산 비용을 크게 감소시킨다.
• 이동-확산 PDE에 대한 수치 실험 결과, VarNet는 표준 잔차 기반 방법에 비해 수렴 속도와 해의 정확도에서 뛰어난 성능을 보였다.
• 유한요소 기반의 형상 함수와 가우스-레지앙드르 적분을 사용함으로써 낮은 계산 오버헤드로도 고정밀 수치 적분을 보장한다.