[논문 리뷰] Self-Adaptive Physics-Informed Neural Networks using a Soft Attention Mechanism

Levi D. McClenny, Ulisses Braga-Neto|arXiv (Cornell University)|2020. 09. 07.

Model Reduction and Neural Networks참고 문헌 26인용 수 42

한 줄 요약

본 논문은 학습 가능한 포인트당 가중치를 학습하여 소프트 어텐션 마스크를 생성하는 Self-Adaptive PINNs(SA-PINNs)를 제안한다. 어려운 영역에 대한 강조를 최대화하고 전체 손실을 최소화하여 강성 PDE를 더 적은 에폭으로 더 정확하게 해결한다.

ABSTRACT

Physics-Informed Neural Networks (PINNs) have emerged recently as a promising application of deep neural networks to the numerical solution of nonlinear partial differential equations (PDEs). However, it has been recognized that adaptive procedures are needed to force the neural network to fit accurately the stubborn spots in the solution of "stiff" PDEs. In this paper, we propose a fundamentally new way to train PINNs adaptively, where the adaptation weights are fully trainable and applied to each training point individually, so the neural network learns autonomously which regions of the solution are difficult and is forced to focus on them. The self-adaptation weights specify a soft multiplicative soft attention mask, which is reminiscent of similar mechanisms used in computer vision. The basic idea behind these SA-PINNs is to make the weights increase as the corresponding losses increase, which is accomplished by training the network to simultaneously minimize the losses and maximize the weights. In addition, we show how to build a continuous map of self-adaptive weights using Gaussian Process regression, which allows the use of stochastic gradient descent in problems where conventional gradient descent is not enough to produce accurate solutions. Finally, we derive the Neural Tangent Kernel matrix for SA-PINNs and use it to obtain a heuristic understanding of the effect of the self-adaptive weights on the dynamics of training in the limiting case of infinitely-wide PINNs, which suggests that SA-PINNs work by producing a smooth equalization of the eigenvalues of the NTK matrix corresponding to the different loss terms. In numerical experiments with several linear and nonlinear benchmark problems, the SA-PINN outperformed other state-of-the-art PINN algorithm in L2 error, while using a smaller number of training epochs.

연구 동기 및 목표

• 강성 PDE에서 기본 PINN의 수렴성과 정확도 문제에 동기를 부여하고 해결한다.
• 학습 중에 어려운 영역을 강조하도록 포인트 단위로 완전하게 학습 가능한 적응 가중치를 제안한다.
• 연속적인 자가 적응 마스킹 전략을 개발하고 이를 PDE 제약 최적화 이론과 연결한다.
• SA-PINN 학습의 동역학에 대한 이론적 통찰과 실용적인 학습 프레임워크를 제공한다.

제안 방법

• 초기점, 경계점, 잔차점에 대해 포인트별 적응 가중치를 갖는 손실을 정의한다.
• 학습 가능한 λ의 함수로 각 포인트의 손실을 스케일하기 위해 비음수이고 미분 가능한 마스크 m(λ)을 사용한다.
• 페널티 방식에 해당하는 샌들 포인트를 실현하기 위해 min_w와 max_{λ}로 최적화한다.
• 해당 비마스킹 손실에 비례하여 λ에 대한 그래디언트를 도출하고 단조로운 가중치 증가를 설명한다.
• 자기 적응 가중치를 연속 가중화가 가능한 SGD 친화적 학습을 위해 가우시안 프로세스로 매핑한다.
• SA-PINN 하에서의 학습 역학을 이해하기 위한 Neural Tangent Kernel(NTK) 함의에 대해 논의한다.

실험 결과

연구 질문

• RQ1 포인트 단위의 학습 가능한 가중치가 강성 PDE에서 PINN의 학습 및 수렴을 개선할 수 있는가?
• RQ2 자가 적응 가중치가 손실 구성요소의 균형 및 학습 역학에 어떻게 영향을 미치는가?
• RQ3 SA-PINN이 기본 PINN 및 기존 가중치 체계에 비해 벤치마크 강성 PDE에 어떤 영향을 미치는가?
• RQ4 자가 적응 가중치의 GP 기반 매핑이 SA-PINN의 효과적 SGD 학습을 가능하게 하는가?

주요 결과

• SA-PINN은 Allen-Cahn 방정식에서 기저선보다 현저히 낮은 L2 오차를 달성한다(기저선으로 96.15% ± 6.45%이고 비적응 가중치일 때 49.61% ± 2.50%, SA-PINN 2.1% ± 1.21%).
• Burgers에서 SA-PINN은 L2 오차 4.803e-04 ± 1.01e-4에 도달하여 기저선보다 적은 학습 에폭으로 우수한 성능을 보인다.
• Helmholtz에서 SA-PINN은 상대 L2 오차 3.2e-3 ± 2.2e-4를 달성하여 적은 반복에도 고급 기법의 정확도에 근접한다.
• SA-PINN은 해석 가능한 가중치 맵을 학습하여 Burgers의 불연속성과 같은 어려운 영역과 Allen-Cahn의 초기 시간을 강조한다.
• NTK 분석은 SA-PINN이 손실 구성요소 간 고유값 분포를 평준화하고 매끄럽게 하여 학습 역학에 도움을 준다고 시사한다.
• 저자들은 오픈 소스 구현을 제공하고 여러 벤치마크에서 일관된 개선을 보여준다.