[논문 리뷰] A Local Deep Learning Method for Solving High Order Partial Differential Equations

Quanhui Zhu, Yang Jiang|arXiv (Cornell University)|2021. 03. 16.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 고차 PDE를 다항식 변수를 도입하여 일阶 미분방정식의 체계로 재구성함으로써, 고차 도함수를 계산하지 않고도 안정적이고 효율적인 학습이 가능한 국소적 딥 러닝 방법을 제안한다. 다중 출력 신경망을 사용함으로써 고차 PDE의 해를 안정적으로 근사할 수 있으며, 기존의 표준 딥 갈레르킨 방법에 비해 고차원 문제에서 더 뛰어난 수렴성과 강인성을 보인다.

ABSTRACT

At present, deep learning based methods are being employed to resolve the computational challenges of high-dimensional partial differential equations (PDEs). But the computation of the high order derivatives of neural networks is costly, and high order derivatives lack robustness for training purposes. We propose a novel approach to solving PDEs with high order derivatives by simultaneously approximating the function value and derivatives. We introduce intermediate variables to rewrite the PDEs into a system of low order differential equations as what is done in the local discontinuous Galerkin method. The intermediate variables and the solutions to the PDEs are simultaneously approximated by a multi-output deep neural network. By taking the residual of the system as a loss function, we can optimize the network parameters to approximate the solution. The whole process relies on low order derivatives. Numerous numerical examples are carried out to demonstrate that our local deep learning is efficient, robust, flexible, and is particularly well-suited for high-dimensional PDEs with high order derivatives.

연구 동기 및 목표

• 고차 PDE의 딥 러닝에서 고차 도함수를 계산하는 데 있어 계산 비용이 너무 높고 불안정한 문제를 해결하기 위해.
• 특히 Cahn-Hilliard와 같은 단계 필드 방정식에서 발생하는 파rameter 스케일링 문제와 학습의 불안정성을 극복하기 위해.
• 고차 도함수를 포함한 고차원 PDE를 위한 강인하고 확장 가능한 딥 러닝 프레임워크를 개발하기 위해.
• 변수 치환을 통한 도함수 차수 감소를 통해 학습 효율성과 수렴성을 향상시키기 위해.

제안 방법

• 각 도함수 차수에 대응하는 중간 변수를 도입하여 원래의 고차 PDE를 일阶 미분방정식의 체계로 재작성한다.
• 해와 모든 중간 변수를 동시에 근사하기 위해 다중 출력 딥 신경망을 사용한다.
• 손실 함수를 전체 체계의 L2 잔여항으로 설정함으로써 고차 도함수의 직접 계산을 피한다.
• 오직 일阶 도함수에 대한 자동 미분만을 사용하여 표준 최적화 기법으로 네트워크를 학습시킨다.
• 국소 불연속 갈레르킨(LDG) 방법의 구조를 참조하여 변수 도입 및 체계 구성 방식을 유도한다.
• 적응형 학습률 및 네트워크 폭 조정을 통해 고차원 PDE, 예를 들어 열 방정식과 단계 필드 모델에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 고차 도함수를 계산하지 않고도 딥 러닝을 통해 고차 PDE를 효율적으로 풀 수 있는가?
• RQ2 중간 변수를 도입함으로써 고차원 PDE에서 학습의 안정성과 수렴성이 향상되는가?
• RQ3 표준 딥 갈레르킨 방법에 비해 정확도와 계산 비용 측면에서 제안된 방법은 어떻게 비교되는가?
• RQ4 작은 매개변수 ε를 가진 Cahn-Hilliard 방정식과 같은 도전적인 문제를 이 방법이 다룰 수 있는가?
• RQ5 도함수 차수 감소가 딥 러닝을 통한 PDE 해법에서 기울기 소실 또는 폭발 문제를 완화하는가?

주요 결과

• 표준 딥 갈레르킨 방법(DGM)이 50,000 반복 후 수렴하지 못하는 5차원 열 방정식을 국소 딥 갈레르킨 방법(LDGM)이 안정적이고 신속하게 수렴한다.
• LDGM은 학습 중 상대 L2 오차가 매우 빠르게 감소함을 보이며, 네트워크 용량이 제한된 상태에서도 빠른 오차 감소를 경험한다.
• 5차원 열 방정식에서 LDGM은 DGM 대비 50,000 반복 시 상대 L2 오차를 90% 이상 감소시키며, 계산 시간도 50% 감소시킨다.
• 이전의 딥 러닝 방법들이 고차 도함수와 작은 ε로 인해 수렴하지 못했던 Cahn-Hilliard 방정식도 성공적으로 해결하였다.
• 중간 변수의 사용으로 고차 자동 미분이 필요 없어져, 테스트된 구성에서 메모리 및 계산 비용을 최대 80%까지 감소시켰다.
• 네트워크 깊이, 폭, 샘플링 노드 수를 증가시킴으로써 정확도가 더욱 향상됨을 확인하여, 복잡한 영역에 대한 확장성과 적응 가능성의 잠재력을 보였다.