[논문 리뷰] Separable PINN: Mitigating the Curse of Dimensionality in Physics-Informed Neural Networks

Junwoo Cho, Seungtae Nam외 4명|arXiv (Cornell University)|2022. 11. 16.

Model Reduction and Neural Networks인용 수 13

한 줄 요약

이 논문은 다차원 입력을 독립적인 일차원 하위망으로 분해하고 출력을 외적을 통해 조합함으로써 차원의 저주를 완화하는 새로운 물리 기반 신경망 아키텍처인 Separable PINN (SPINN)을 제안한다. 정방향 모드 자동 미분을 활용함으로써 SPINN은 FLOPs와 월클록 훈련 시간을 기존 O(n^d)에서 O(nd)로 감소시켜 표준 PINN 대비 최대 57배 빠른 훈련 속도와 40배 낮은 메모리 사용량을 달성하면서 선형 및 비선형 PDE에서 해의 정확도를 유지하거나 향상시킨다.

ABSTRACT

Physics-informed neural networks (PINNs) have emerged as new data-driven PDE solvers for both forward and inverse problems. While promising, the expensive computational costs to obtain solutions often restrict their broader applicability. We demonstrate that the computations in automatic differentiation (AD) can be significantly reduced by leveraging forward-mode AD when training PINN. However, a naive application of forward-mode AD to conventional PINNs results in higher computation, losing its practical benefit. Therefore, we propose a network architecture, called separable PINN (SPINN), which can facilitate forward-mode AD for more efficient computation. SPINN operates on a per-axis basis instead of point-wise processing in conventional PINNs, decreasing the number of network forward passes. Besides, while the computation and memory costs of standard PINNs grow exponentially along with the grid resolution, that of our model is remarkably less susceptible, mitigating the curse of dimensionality. We demonstrate the effectiveness of our model in various PDE systems by significantly reducing the training run-time while achieving comparable accuracy. Project page: https://jwcho5576.github.io/spinn/

연구 동기 및 목표

• 자동 미분 오버헤드로 인해 고차원 PDE에서 표준 PINN의 계산 비용이 높고 지수적 스케일링이 발생하는 문제를 해결하기 위해.
• 전방 및 역방향 전파를 줄이기 위해 네트워크 아키텍처를 재설계함으로써 PINN 훈련에서 차원의 저주를 완화하기 위해.
• 해결 정확도를 희생시키지 않고도 일반 하드웨어에서 효율적이고 확장 가능한 PINN 훈련을 가능하게 하기 위해.
• 각 축별로 처리하는 인자화된 접근 방식과 정방향 모드 AD를 통해 다차원 PDE에서 FLOPs와 월클록 시간을 크게 줄일 수 있는지 입증하기 위해.

제안 방법

• SPINN은 해 함수를 각각 하나의 공간 또는 시간 좌표를 처리하는 독립적인 일차원 하위망으로 분해한다.
• 최종 해는 하위망 출력의 외적과 요소별 합산을 통해 계산되며, 이로써 전체 다차원 입력 처리를 피한다.
• 각 축에 대해 정방향 모드 자동 미분을 적용하여 기울기 계산에 필요한 전방향 통과 수를 크게 감소시킨다.
• 손실 함수는 PDE 잔여항, 초기 조건, 경계 조건을 비지도 방식으로 강제함으로써 아키텍처를 훈련시킨다.
• 전체 좌표 텐서의 점별 평가를 피함으로써 네트워크 평가 횟수를 O(n^d)에서 O(nd)로 감소시킨다.
• SPINN은 분리 가능한 함수의 수학적 구조를 활용하여 정방향 모드 AD를 통해 효율적인 기울기 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다시 설계된 PINN 아키텍처가 고차원 PDE에서 자동 미분의 계산 부담을 줄일 수 있는가?
• RQ2 아키텍처 설계를 통해 정방향 모드 AD를 얼마나 효율적으로 활용할 수 있는가?
• RQ3 분리 가능하고 축 별로 처리하는 접근 방식이 PINN 훈련에서 차원의 저주를 완화하는가?
• RQ4 다양한 유형의 PDE에서 SPINN은 표준 PINN에 비해 훈련 속도, 메모리 사용량, 해 정확도 측면에서 어떻게 비교되는가?

주요 결과

• SPINN은 (2+1)-차원 콘드라스 방정정식에서 표준 PINN과 동일한 정확도를 유지하면서 최대 57배 빠른 훈련 속도를 달성했다.
• 헬름홀츠 방정식에서 SPINN은 기준 모델 대비 훈련 시간을 56배 감소시키고 메모리 사용량을 41% 감소시켰으며, 더 높은 해상도에서도 성능을 유지를 하였다.
• 선형 및 비선형 확산 방정식의 경우, SPINN은 기준 모델 대비 40배 낮은 메모리 사용량과 49배 빠른 훈련 속도를 기록했으며, 180³ 콜로케이션 포인트에서 성능을 확보했다.
• SPINN은 해상도가 증가함에 따라 정확도를 유지하거나 향상시켰으며, 기준 모델은 오차가 조기에 수렴하고 훈련 시간이 지수적으로 증가하는 경향을 보였다.
• 선형 확산에서 헬름홀츠로의 전이 시 SPINN의 훈련 시간은 12% 증가에 그쳤지만, 기준 모델은 28% 증가하여 PDE 차수에 대한 강건성을 입증했다.
• 시각화 결과 SPINN 해는 FEniCS에서 구한 기준 해와 매우 유사했으며, 헬름홀츠와 같은 강성 문제에서도 정확도를 유지함을 확인했다.