[논문 리뷰] Sobolev Training for Physics Informed Neural Networks

Hwijae Son, Jin Woo Jang외 2명|arXiv (Cornell University)|2021. 01. 22.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 물리 기반 신경망(PINNs)의 수렴 속도와 해의 정확도를 향상시키기 위해 손실 함수에 소볼레프 노름을 통합함으로써 새로운 학습 프레임워크인 Sobolev-PINNs를 소개한다. $H^1$ 및 $H^2$와 같은 소볼레프 공간에서 오차를 최소화함으로써, 점성 버거스 및 포커-플랑크 방정식과 같은 PDE에 대해 더 빠른 수렴을 달성하며, 이는 이론적 보장과 저차원 및 고차원 문제에서의 실증적 검증을 통해 입증된다.

ABSTRACT

Physics Informed Neural Networks (PINNs) is a promising application of deep learning. The smooth architecture of a fully connected neural network is appropriate for finding the solutions of PDEs; the corresponding loss function can also be intuitively designed and guarantees the convergence for various kinds of PDEs. However, the rate of convergence has been considered as a weakness of this approach. This paper proposes Sobolev-PINNs, a novel loss function for the training of PINNs, making the training substantially efficient. Inspired by the recent studies that incorporate derivative information for the training of neural networks, we develop a loss function that guides a neural network to reduce the error in the corresponding Sobolev space. Surprisingly, a simple modification of the loss function can make the training process similar to extit{Sobolev Training} although PINNs is not a fully supervised learning task. We provide several theoretical justifications that the proposed loss functions upper bound the error in the corresponding Sobolev spaces for the viscous Burgers equation and the kinetic Fokker--Planck equation. We also present several simulation results, which show that compared with the traditional $L^2$ loss function, the proposed loss function guides the neural network to a significantly faster convergence. Moreover, we provide the empirical evidence that shows that the proposed loss function, together with the iterative sampling techniques, performs better in solving high dimensional PDEs.

연구 동기 및 목표

• 기존의 $L^2$ 손실 함수에 의존하는 전통적 물리 기반 신경망(PINNs)의 느린 수렴 문제를 해결한다.
• 소볼레프 노름을 통해 도함수 정보를 손실 함수에 통합함으로써 신경망 학습을 더 효과적으로 이끌 신규 손실 함수를 개발한다.
• 제안된 소볼레프 손실을 최소화할 경우, 주요 PDE에 대해 $H^1$ 및 $H^2$ 노름에서 근사 오차의 수렴이 보장됨을 이론적으로 정당화한다.
• 실증적으로 제안된 방법이 목표 정확도에 도달하기 위해 필요한 학습 에포크 수를 크게 감소시킴을 보여준다.
• 반복적 샘플링 기법을 사용하여 고차원 PDE에 대한 프레임워크를 확장함으로써 표준 PINNs에 비해 향상된 성능을 보임을 보여준다.

제안 방법

• PDE 잔차와 그 도함수를 $H^1$ 및 $H^2$ 소볼레프 노름에서 모두 벌점하는 새로운 손실 함수를 제안한다.
• 신경망 출력 및 일阶 및 이阶 도함수의 $L^2$ 노름의 가중 조합으로 손실를 수식화한다.
• 기존의 $L^2$ 잔차 손실을 대체하거나 보완함으로써 소볼레프 손실을 PINN 학습 파이프라인에 통합한다.
• 에너지 추정과 그론발레 부등식을 기반으로 한 이론적 분석을 통해 $H^1$ 및 $H^2$ 오차가 0으로 수렴함을 증명한다.
• 디리클레 경계 조건을 가진 1D 점성 버거스, 1D 운동적 포커-플랑크, 1D 푸아송 방정식에 방법을 적용한다.
• 반복적 샘플링 기법과 함께 소볼레프-PINN 프레임워크를 결합하여 고차원 PDE에서의 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 Sobolev 노름을 PINN 손실 함수에 통합할 경우, PDE 해의 수렴 속도가 크게 향상되는가?
• RQ2 잔차 오차의 $H^1$ 및 $H^2$ 노름을 최소화하면 소볼레프 공간에서 신경망 근사의 수렴이 보장되는가?
• RQ3 제안된 소볼레프-PINN 프레임워크는 표준 $L^2$ 기반 PINNs와 비교해 학습 속도와 정확도 측면에서 어떻게 성능을 냅니까?
• RQ4 반복적 샘플링 전략을 사용하여 소볼레프-PINN 프레임워크를 고차원 PDE에 효과적으로 확장할 수 있는가?
• RQ5 소볼레프 손실과 해 공간에서 실제 근사 오차 사이의 이론적 관계는 무엇인가?

주요 결과

• 제안된 소볼레프-PINN 손실 함수는 표준 $L^2$ 기반 PINNs에 비해 수렴 속도가 현저히 빠르며, 목표 정확도에 도달하기 위해 필요한 학습 에포크 수를 감소시킨다.
• 이론적 분석을 통해 소볼레프 손실이 0으로 수렴할 경우, 점성 버거스 및 운동적 포커-플랑크 방정식에 대해 $H^1$ 및 $H^2$ 노름에서 근사 오차도 0으로 수렴함을 증명하였다.
• 1D 푸아송 방정식의 경우, 오차의 $H^{m+2}$ 노름이 잔차의 $H^m$ 노름에 의해 유계임을 보여주며, 소볼레프 공간에서의 수렴을 검증하였다.
• 실증 결과로, 손실 함수에 고차 도함수 항($H^2$ 등)이 포함될 경우 해가 매끄러울 때 더 빠른 수렴이 이루어짐을 확인하였다.
• 소볼레프-PINNs와 반복적 샘플링 기법의 조합은 고차원 PDE에서 성능 향상을 이끌어내며, 강건성과 확장성을 입증하였다.
• 이 프레임워크는 열 방정식, 버거스 방정식, 포커-플랑크 방정식, 고차원 푸아송 방정식 등 다양한 PDE에 적용 가능하며, 기준 PINNs에 비해 일관된 성능 향상을 보였다.