[논문 리뷰] Separable Physics-Informed Neural Networks

Jun Woo Cho, Seungtae Nam외 4명|arXiv (Cornell University)|2023. 06. 28.

Model Reduction and Neural Networks인용 수 27

한 줄 요약

SPINN은 축 분리 서브넷워크와 순방향 모드 자동 미분을 활용하여 PINN의 계산을 대폭 줄이고, 다차원 PDE에서 매우 큰 배치점 집합을 가능하게 하며 더 빠르고 정확한 해를 제공합니다.

ABSTRACT

Physics-informed neural networks (PINNs) have recently emerged as promising data-driven PDE solvers showing encouraging results on various PDEs. However, there is a fundamental limitation of training PINNs to solve multi-dimensional PDEs and approximate highly complex solution functions. The number of training points (collocation points) required on these challenging PDEs grows substantially, but it is severely limited due to the expensive computational costs and heavy memory overhead. To overcome this issue, we propose a network architecture and training algorithm for PINNs. The proposed method, separable PINN (SPINN), operates on a per-axis basis to significantly reduce the number of network propagations in multi-dimensional PDEs unlike point-wise processing in conventional PINNs. We also propose using forward-mode automatic differentiation to reduce the computational cost of computing PDE residuals, enabling a large number of collocation points (>10^7) on a single commodity GPU. The experimental results show drastically reduced computational costs (62x in wall-clock time, 1,394x in FLOPs given the same number of collocation points) in multi-dimensional PDEs while achieving better accuracy. Furthermore, we present that SPINN can solve a chaotic (2+1)-d Navier-Stokes equation significantly faster than the best-performing prior method (9 minutes vs 10 hours in a single GPU), maintaining accuracy. Finally, we showcase that SPINN can accurately obtain the solution of a highly nonlinear and multi-dimensional PDE, a (3+1)-d Navier-Stokes equation. For visualized results and code, please see https://jwcho5576.github.io/spinn.github.io/.

연구 동기 및 목표

• 다차원 및 복잡한 PDE 학습에서의 계산 병목 현상을 동기부여하고 해결합니다.
• 전방 패스를 줄여 PDE 잔차를 계산하는 데 필요한 연산을 줄이는 분리 가능한 네트워크 아키텍처를 제안합니다.
• commodity GPU에서 큰 배치 점 집합을 가능하게 하는 순방향 모드 자동 미분을 활용합니다.
• 3D 및 4D 문제에 걸친 확산, Helmholtz, Klein-Gordon 및 Navier–Stokes 방정식에서 향상된 정확도와 속도를 입증합니다.

제안 방법

• SPINN을 도입합니다. 이는 입력을 d개의 1차원 축으로 분할하고 이를 d개의 바디너트에 입력합니다.
• 각 바디넷 f^(θ_i): R -> R^r 는 축 i에 대한 특성 벡터를 출력합니다.
• 예상 해는 û(x1,...,xd) = sum_{j=1}^r prod_{i=1}^d f_j^(θ_i)(x_i) (저차원 텐서 표현)로 계산됩니다.
• 그래디언트에 대한 Jacobian-벡터 평가를 O(Nd)로 달성하기 위해 순방향 모드 AD로 도함수와 PDE 잔차를 효율적으로 계산합니다.
• Cartesian 곱으로 형성된 축 샘플의 직교곱으로 구성된 팩터화 가능한(격자 형태의) 배치 점을 활용하여 입력 점 수가 많지 않아도 조밀한 평가를 가능하게 합니다.
• L^2 기반의 보편 근사성 주장과 다수의 PDE에 대한 실험적 검증을 제공합니다.

실험 결과

연구 질문

• RQ1 SPINN이 기존 PINN에 비해 다차원 PDE에서 계산 비용과 메모리 사용을 줄이면서 정확도를 유지하거나 향상시킬 수 있나요?
• RQ2 축별 분리와 순방향 모드 AD가 표준 GPUs에서 매우 큰 배치 점 집합(>10^7)을 처리할 수 있게 하나요?
• RQ3 SPINN이 (chaotic) Navier–Stokes와 같은 도전적인 PDE를 기존 PINN 방법보다 빠르게 해결하면서 정확도를 유지할 수 있나요?

주요 결과

• SPINN은 동일한 배치 점을 사용한 기준 PINN 대비 울타리 시간(Time) 기준으로 최대 62×, FLOP 감소는 최대 1,394×에 이르는 상당한 벽시계 시간 단축을 달성합니다.
• 축이 분리된 입력에 순방향 모드 AD를 사용하면 고차 도함수의 계산 비용이 감소하고 일반 GPU에서도 매우 큰 배치 점 집합을 가능하게 합니다.
• SPINN은 혼란스러운 (2+1)-d Navier–Stokes 방정식을 단일 GPU에서 10시간 대신 9분에 해결하는 등 인과적 귀납 편향 없이도 훨씬 빠르게 해결할 수 있습니다.
• SPINN은 3+1-d Navier–Stokes 및 확산, Helmholtz, Klein-Gordon 등 다른 PDE에서 효율성과 정확도를 향상시켜 기존 PINN 대비 정확한 해를 제공합니다.
• 이 방법은 L^2에서의 보편 근사 특성을 지지하고 합성 연산을 통한 해의 저차원 텐서 해석을 제공합니다.