[논문 리뷰] Physical Activation Functions (PAFs): An Approach for More Efficient Induction of Physics into Physics-Informed Neural Networks (PINNs)

Jassem Abbasi, Pål Østebø Andersen|arXiv (Cornell University)|2022. 05. 29.

Machine Learning in Materials Science인용 수 9

한 줄 요약

이 논문은 물리 법칙을 활성화 함수에 직접 통합하는 새로운 접근법인 물리적 활성화 함수(Physical Activation Functions, PAFs)를 소개한다. PAFs 는 해석적 해나 경계 조건에서 유도된 수학적 형태를 갖는다. 기존의 ReLU 와 같은 표준 활성화 함수를 물리에 기반한 함수로 대체함으로써, PINN(PINNs)의 훈련 효율성을 크게 향상시키고, 모델 크기를 최대 75% 감소시키며, 손실 값은 1~2개의 지수 정도 감소시켜 분포 외 데이터에 대한 일반화 능력을 향상시킨다.

ABSTRACT

In recent years, the gap between Deep Learning (DL) methods and analytical or numerical approaches in scientific computing is tried to be filled by the evolution of Physics-Informed Neural Networks (PINNs). However, still, there are many complications in the training of PINNs and optimal interleaving of physical models. Here, we introduced the concept of Physical Activation Functions (PAFs). This concept offers that instead of using general activation functions (AFs) such as ReLU, tanh, and sigmoid for all the neurons, one can use generic AFs that their mathematical expression is inherited from the physical laws of the investigating phenomena. The formula of PAFs may be inspired by the terms in the analytical solution of the problem. We showed that the PAFs can be inspired by any mathematical formula related to the investigating phenomena such as the initial or boundary conditions of the PDE system. We validated the advantages of PAFs for several PDEs including the harmonic oscillations, Burgers, Advection-Convection equation, and the heterogeneous diffusion equations. The main advantage of PAFs was in the more efficient constraining and interleaving of PINNs with the investigating physical phenomena and their underlying mathematical models. This added constraint significantly improved the predictions of PINNs for the testing data that was out-of-training distribution. Furthermore, the application of PAFs reduced the size of the PINNs up to 75% in different cases. Also, the value of loss terms was reduced by 1 to 2 orders of magnitude in some cases which is noteworthy for upgrading the training of the PINNs. The iterations required for finding the optimum values were also significantly reduced. It is concluded that using the PAFs helps in generating PINNs with less complexity and much more validity for longer ranges of prediction.

연구 동기 및 목표

• 신경망 아키텍처와 물리 법칙 간의 낮은 통합도로 인한 Physics-Informed Neural Networks(PINNs) 훈련의 비효율성과 불안정성 문제를 해결하기 위해.
• PINNs의 복잡성과 크기를 줄이면서도 분포 외 데이터에 대한 일반화 능력을 향상시키기 위해.
• 활성화 함수가 일반적인 형태가 아니라 기초 편미분방정식(PDEs)의 물리 원리나 해석적 해에서 유도된 형태임을 새로운 패러다임으로 탐색하기 위해.
• PAFs 가 다양한 기준 PDEs 에서 PINN 훈련의 빠른 수렴과 낮은 손실 값을 이끌어내는 것을 입증하기 위해.

제안 방법

• PAFs 는 해결하고자 하는 PDE의 해석적 해, 초기 조건, 또는 경계 조건에서 활성화 함수의 함수 형태를 유도함으로써 구성된다.
• ReLU 나 tanh 와 같은 표준 활성화 함수가 아닌, 시스템의 물리적 거동을 반영하는 수학적으로 유도된 함수를 사용한다.
• PAFs 는 신경망 아키텍처에 통합되며, 이는 은닉 뉴런에 적용되어 물리적 제약 조건을 네트워크의 인덕티브 바이어스에 직접 통합한다.
• 이 방법은 조화 진동, 버거스 방정식, 대류-확산 방정식, 비균질 확산 방정식 등 여러 PDE에 대해 검증되었다.
• 표준 PINN 손실 최소화 방법을 사용하여 훈련되지만, 물리적 일致성을 처음부터 보장하기 위해 표준 활성화 함수 대신 PAFs 를 사용한다.
• 성능 평가는 손실 감소, 모델 크기, 수렴 속도, 분포 외 테스트 데이터에 대한 일반화 능력 등을 통해 평가된다.

실험 결과

연구 질문

• RQ1 물리 법칙을 활성화 함수에 직접 통합함으로써 PINN 훈련의 효율성과 정확도를 향상시킬 수 있는가?
• RQ2 PAFs 는 예측 성능을 유지하거나 향상시키면서 PINN 아키텍처의 크기와 복잡성을 얼마나 줄일 수 있는가?
• RQ3 표준 활성화 함수와 비교했을 때 PAFs 는 PINN 의 수렴 속도와 손실 곡면에 어떤 영향을 미치는가?
• RQ4 특히 훈련 세트에 잘 포함되지 않은 영역에서, PAFs 는 PINN 의 분포 외 일반화 능력을 향상시킬 수 있는가?
• RQ5 PAFs 는 PINN 훈련에서 손실 항목의 크기에 어떤 영향을 미치며, 특히 기준 모델과 비교했을 때 어떤가?

주요 결과

• PAFs 는 다양한 시험 케이스에서 PINN 모델의 크기를 최대 75% 감소시켜 모델 복잡성을 크게 낮췄다.
• PAFs 를 사용한 PINN 훈련에서 손실 값은 1~2개의 지수 정도 감소했으며, 이는 최적화 및 제약 조건 충족 능력 향상을 시사한다.
• 수렴 속도가 빨라져 최적의 훈련 성능에 도달하기 위한 반복 횟수가 크게 감소했다.
• PAFs 를 사용한 PINNs 는 표준 PINNs 가 실패하는 분포 외 테스트 데이터에 대해서도 높은 정확도를 유지하며 뛰어난 일반화 능력을 보였다.
• PAFs 가 도입한 물리적 인덕티브 바이어스는 장기간 예측 범위에서 더 타당하고 물리적으로 일관된 예측을 가능하게 했다.
• 이 방법은 조화 진동, 버거스, 대류-확산, 비균질 확산 방정식 등 다양한 PDE에 대해 성공적으로 검증되었다.