[논문 리뷰] Physics-informed Neural Networks with Periodic Activation Functions for Solute Transport in Heterogeneous Porous Media

Salah A Faroughi, Soltanmohammad, Ramin외 3명|arXiv (Cornell University)|2022. 12. 17.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 연구는 광범위한 다공성 매질에서 이동-확산 방정식에 의해 지배되는 용질 이동 시뮬레이션을 가속화하기 위해 주기적 활성화 함수(sinusoidal, sin)를 사용하는 물리 기반 신경망(PiNNs)을 제안한다. 물리 법칙을 손실 함수에 직접 통합하고 sin 활성화 함수를 사용함으로써, 이 방법은 tanh 기반 PiNNs보다 최대 두 배수의 정확도 향상과 두 배 빠른 학습 속도를 달성하며, 유한요소법(FEM)에 비해 추론 시간을 세 배수 감소시킨다.

ABSTRACT

Simulating solute transport in heterogeneous porous media poses computational challenges due to the high-resolution meshing required for traditional solvers. To overcome these challenges, this study explores a mesh-free method based on deep learning to accelerate solute transport simulation. We employ Physics-informed Neural Networks (PiNN) with a periodic activation function to solve solute transport problems in both homogeneous and heterogeneous porous media governed by the advection-dispersion equation. Unlike traditional neural networks that rely on large training datasets, PiNNs use strong-form mathematical models to constrain the network in the training phase and simultaneously solve for multiple dependent or independent field variables, such as pressure and solute concentration fields. To demonstrate the effectiveness of using PiNNs with a periodic activation function to resolve solute transport in porous media, we construct PiNNs using two activation functions, sin and tanh, for seven case studies, including 1D and 2D scenarios. The accuracy of the PiNNs' predictions is then evaluated using absolute point error and mean square error metrics and compared to the ground truth solutions obtained analytically or numerically. Our results demonstrate that the PiNN with sin activation function, compared to tanh activation function, is up to two orders of magnitude more accurate and up to two times faster to train, especially in heterogeneous porous media. Moreover, PiNN's simultaneous predictions of pressure and concentration fields can reduce computational expenses in terms of inference time by three orders of magnitude compared to FEM simulations for two-dimensional cases.

연구 동기 및 목표

• 고해상도 메쉬 요구 사항으로 인해 기존의 FEM 같은 해법기법이 계산적으로 비효율적인 다공성 매질에서의 용질 이동 시뮬레이션 문제를 해결하기 위해.
• 물리 법칙을 신경망 학습에 직접 통합하는 메쉬 기반 아님 기반의 딥러닝 접근법을 개발하여 정확하고 효율적인 시뮬레이션을 가능하게 하기 위해.
• 용질 농도 및 압력장 예측에서 주기적(sin)과 비주기적(tanh) 활성화 함수를 사용한 PiNN의 성능을 비교하기 위해.
• 압력장과 농도장을 동시에 고정된 PiNN 프레임워크 내에서 높은 정확도와 낮은 추론 비용으로 예측할 수 있는 능력을 입증하기 위해.
• 복잡한 비균질 영역에서 반복적인 무작위 탐색을 통한 하이퍼파rameter 최적화를 통해 최적의 하이퍼파rameter를 식별하고 수렴 안정성을 평가하기 위해.

제안 방법

• 자동 미분를 통해 이동-확산 방정식, 초기 조건, 경계 조건을 손실 함수의 일부로 통합하는 물리 기반 신경망(PiNNs)을 사용한다.
• 용질 이동 모델링을 위한 PiNN 아키텍처에서 표준 tanh 활성화 함수와 비교하여 주기적 활성화 함수(sin)를 사용한다.
• PDE 잔차, 초기 조건, 경계 조건의 잔차로 구성된 손실 함수를 사용하여 PiNNs를 학습시키며, 경쟁하는 손실 항목을 균형 잡기 위해 가변 가중치를 적용한다.
• 단일 PiNN 프레임워크 내에서 압력장과 용질 농도장을 동시에 예측하여 계산 비용을 절감한다.
• 각 사례 연구에 대해 네트워크 아키텍처와 하이퍼파rameter를 최적화하기 위해 반복적인 무작위 탐색 기반 하이퍼파aram터 튜닝을 활용한다.
• 절대 점 오차와 평균 제곱 오차 지표를 사용하여 분석적 해나 고정밀도 FEM 시뮬레이션과의 예측 결과를 검증한다.

실험 결과

연구 질문

• RQ1 주기적 활성화 함수(sin)와 비주기적 활성화 함수(tanh)의 선택이 다공성 매질에서의 용질 이동 시뮬레이션에서 PiNN의 정확도와 학습 속도에 어떤 영향을 미치는가?
• RQ2 주기적 활성화 함수를 사용하는 PiNNs는 복잡한 유량 구조를 가진 비균질 다공성 매질에서 표준 PiNNs보다 더 높은 정확도와 더 빠른 수렴을 달성할 수 있는가?
• RQ3 PiNNs는 전통적인 FEM 해법기준으로 비교했을 때, 압력장과 농도장을 동시에 예측함으로써 얼마나 빠른 추론 속도를 확보할 수 있는가?
• RQ4 비균질 영역에서 다중장 문제를 위한 PiNN 학습 시 계산 및 수렴 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 다공성 매질에서 메쉬 해상도와 비균질 수준의 변화에 따라 PiNN의 추론 속도 향상 비율은 어떻게 변화하는가?

주요 결과

• 모든 1D 및 2D 사례 연구에서 sin 활성화 함수를 사용한 PiNN은 tanh 기반 PiNN보다 최대 두 배수의 정확도 향상을 달성했다.
• 특히 비균질 매질에서 복잡한 유량 패턴을 가진 영역에서 sin 기반 PiNN은 tanh 기반 대비 최대 두 배 빠른 학습 속도를 보였다.
• 2D 균질 다공성 매질에서 PiNN의 추론 속도는 FEM 대비 최대 1,458.7배 빠르며, 비균질 케이스에서는 1,399.6배에서 1,402.3배 빠른 속도 향상을 보였다.
• 2D 사례에서 PiNN을 사용해 압력장과 농도장을 동시에 예측함으로써 FEM 대비 추론 시간을 세 배수 감소시켰다.
• 성능 향상에도 불구하고, PiNN 학습 과정에서 경쟁하는 손실 항목으로 인한 기울기 소실 및 불안정성 문제에 직면했으며, 이를 해결하기 위해 주의 깊은 하이퍼파aram터 튜닝이 필요했다.
• 다양한 투과성 비균질 수준에서도 강건성을 보였으며, 길이 척도가 뚜렷하고 복잡한 유량 네트워크를 가진 영역에서도 높은 정확도를 유지했다.