[논문 리뷰] Enforcing exact boundary and initial conditions in the deep mixed residual method

Liyao Lyu, Keke Wu외 2명|arXiv (Cornell University)|2020. 08. 04.

Model Reduction and Neural Networks참고 문헌 12인용 수 10

한 줄 요약

이 논문은 편미분방정식(PDE)를 해결하기 위해 딥 뉴럴 네트워크(DNN)에 정확한 경계 조건과 초기 조건을 강제하는 체계적인 방법을 제안한다. 이는 심층 혼합 잔차 방법(MIM)을 사용한다. 해와 그 도함수를 독립 변수로 간주함으로써 MIM은 패널티 항 없이 딜리클레, 뉴먼, 루빈, 주기적, 초기 조건을 정확히 만족시킬 수 있으며, 타원형, 방산형, 쌍곡형 PDE 전반에 걸쳐 높은 정확도와 향상된 학습 안정성을 제공한다.

ABSTRACT

In theory, boundary and initial conditions are important for the wellposedness of partial differential equations (PDEs). Numerically, these conditions can be enforced exactly in classical numerical methods, such as finite difference method and finite element method. Recent years have witnessed growing interests in solving PDEs by deep neural networks (DNNs), especially in the high-dimensional case. However, in the generic situation, a careful literature review shows that boundary conditions cannot be enforced exactly for DNNs, which inevitably leads to a modeling error. In this work, based on the recently developed deep mixed residual method (MIM), we demonstrate how to make DNNs satisfy boundary and initial conditions automatically in a systematic manner. As a consequence, the loss function in MIM is free of the penalty term and does not have any modeling error. Using numerous examples, including Dirichlet, Neumann, mixed, Robin, and periodic boundary conditions for elliptic equations, and initial conditions for parabolic and hyperbolic equations, we show that enforcing exact boundary and initial conditions not only provides a better approximate solution but also facilitates the training process.

연구 동기 및 목표

• 딥 러닝 기반 PDE 해법에서 경계 및 초깃값 조건이 정확히 강제되지 않는 문제로 인한 모델링 오차와 학습을 방해하는 요소를 해결하기 위해.
• 다양한 경계 및 초깃값 조건을 정확히 만족시키는 체계적이고 일반적인 프레임워크를 개발하여 고차원 PDE에 적용 가능하도록 하기 위해.
• 손실 함수에서 패널티 항을 제거하기 위해 DNN를 구성하여 조건을 내재적으로 만족시키도록 함으로써 튜닝 의존성을 제거하고 해의 정확도를 향상시키기 위해.
• 타원형, 방산형, 쌍곡형 방정식 등 다양한 유형의 PDE에 대해 제안된 방법의 우수성을 입증하기 위해.
• 정확한 조건 강제가 딥 러닝 기반 PDE 해법에서 근사 품질과 학습 수렴 속도를 향상시킨다는 것을 보여주기 위해.

제안 방법

• 심층 혼합 잔차 방법(MIM)은 PDE를 일阶 시스템으로 재구성하며, 해와 그 도함수를 독립 변수로 간주한다.
• 경계 및 초깃값 조건은 DNN의 출력 및 도함수가 도메인 경계 및 초깃시점에서 요구 조건을 직접 만족하도록 구성함으로써 정확히 강제된다.
• 쌍곡형 및 방산형 방정식의 초깃값 조건에 대해, 이 방법은 네트워크 아키텍처에 명시적인 구성 요소로 포함함으로써 해와 그 시간 도함수를 정확히 만족시킨다.
• MIM의 손실 함수는 경계나 초깃값 조건에 대한 패널티 항 없이, PDE 및 그 일阶 시스템의 잔차 최소화에 기반한다.
• MIM은 해와 그 도함수에 직접 액세스할 수 있다는 점을 활용하여, 다른 방법이 실패하는 혼합, 루빈, 주기적 조건에 대해 정확한 강제를 가능하게 한다.
• 네트워크 아키텍처는 곱 형태로 설계된다: $ \hat{u}_{\theta} = t \prod_{i=1}^{d}(x_i - x_i^2) N_\theta(x) $, 이는 경계 및 초깃값이 0이 되도록 보장한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크를 다양한 PDE 클래스에 대해 체계적으로 구성하여 정확한 경계 및 초깃값 조건을 만족시킬 수 있는가?
• RQ2 손실 함수에서 패널티 항을 제거하면 딥 러닝 기반 PDE 해법에서 해의 정확도와 학습 안정성이 향상되는가?
• RQ3 혼합 경계 조건(디리클레 및 뉴먼)은 DNN에서 정확히 강제될 수 있는가? 만약 가능하면 어떤 아키텍처 조건이 필요한가?
• RQ4 시간에 따라 변화하는 PDE(예: 파동 방정식)에 대해 정확한 초깃값 강제는 해 품질과 학습 역학에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 다양한 PDE 유형과 차원에서 기존의 패널티 기반 접근보다 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• MIM2는 해와 그 시간 도함수를 정확히 강제하여 3D 파동 방정식에서 $ n=40 $일 때 상대 $ L^2 $ 오차 2.23e-03을 달성하였으며, DGM 및 MIM1을 초월한다.
• ReLU 활성화 함수를 사용한 2D 파동 방정식에서 MIM2는 $ n=3 $일 때 상대 $ L^2 $ 오차를 2.90e-03으로 줄였고, DGM은 7.28e-02이었다.
• 3D에서 $ n=40 $일 때 MIM2는 ReLU를 사용해 상대 $ L^2 $ 오차 4.41e-03을 기록했고, DGM은 7.34e-02를 기록하여 16배의 향상을 보였다.
• 그림 11 및 12의 학습 과정을 보면, MIM2는 고차원 및 고복잡도 환경에서 DGM 및 MIM1보다 더 빠르고 안정적으로 수렴한다.
• MIM에서 패널티 항이 없기 때문에 일반화 성능이 향상되고, 표준 물리 기반 신경망에서 주로 문제로 지적되는 패널티 파rameter 조정이 필요 없어진다.
• 이 방법은 이전 DNN 기반 방법이 도함수 접근이 부족해 실패한 혼합, 루빈, 주기적 경계 조건을 정확히 강제하는 데 성공했다.