[논문 리뷰] Tackling the Curse of Dimensionality with Physics-Informed Neural Networks

Zheyuan Hu, Khemraj Shukla외 2명|arXiv (Cornell University)|2023. 07. 23.

Model Reduction and Neural Networks참고 문헌 62인용 수 17

한 줄 요약

본 논문은 Stochastic Dimension Gradient Descent (SDGD) 를 도입하여 물리정보 신경망(PINN)을 任意의 고차원 PDE로 확장하고, 이론적 수렴 보장과 고차원 문제에서의 빠르고 메모리 효율적인 실험을 제시한다.

ABSTRACT

The curse-of-dimensionality taxes computational resources heavily with exponentially increasing computational cost as the dimension increases. This poses great challenges in solving high-dimensional PDEs, as Richard E. Bellman first pointed out over 60 years ago. While there has been some recent success in solving numerically partial differential equations (PDEs) in high dimensions, such computations are prohibitively expensive, and true scaling of general nonlinear PDEs to high dimensions has never been achieved. We develop a new method of scaling up physics-informed neural networks (PINNs) to solve arbitrary high-dimensional PDEs. The new method, called Stochastic Dimension Gradient Descent (SDGD), decomposes a gradient of PDEs into pieces corresponding to different dimensions and randomly samples a subset of these dimensional pieces in each iteration of training PINNs. We prove theoretically the convergence and other desired properties of the proposed method. We demonstrate in various diverse tests that the proposed method can solve many notoriously hard high-dimensional PDEs, including the Hamilton-Jacobi-Bellman (HJB) and the Schrödinger equations in tens of thousands of dimensions very fast on a single GPU using the PINNs mesh-free approach. Notably, we solve nonlinear PDEs with nontrivial, anisotropic, and inseparable solutions in 100,000 effective dimensions in 12 hours on a single GPU using SDGD with PINNs. Since SDGD is a general training methodology of PINNs, it can be applied to any current and future variants of PINNs to scale them up for arbitrary high-dimensional PDEs.

연구 동기 및 목표

• 고차원 PDE를 PINN으로 해결하는 데 있어 차원의 저주를 동기 부여하고 해결한다.
• 메모리 사용을 줄이고 수렴 속도를 높이는 그래디언트 분할 학습 방법(SDGD)을 개발한다.
• SDGD의 편향되지 않은 그래디언트와 수렴에 대한 이론적 보장을 제공한다.
• HJB 및 슈뢰딩거 방정식 등 다양한 고차원 PDE에서 방법을 시연한다.

제안 방법

• PDE 잔차 그래디언트를 차원별 항목으로 분해하고 하위 집합을 샘플링하여 편향되지 않은 확률적 그래디언트를 형성한다.
• SDGD를 임의의 PDE 항목 집합 I 를 선택하고 해당 항목들에 대해서만 역전파를 수행하여 메모리를 줄이는 과정으로 정의한다.
• SDGD 그래디언트가 편향되지 않음을 증명하고 수렴 보장을 확립한다.
• 그래디언트 축적 및 병렬 컴퓨팅으로 학습 속도를 더욱 높이도록 SDGD를 확장한다.
• 분산과 속도 간의 균형을 맞추는 순전방-역전방 샘플링 전략(Algorithms 2 및 3)을 제안한다.
• SDGD가 메쉬-프리 PINN 학습을 가능하게 하고 단일 GPU에서 100k 유효 차원까지 확장될 수 있음을 보인다.

Figure 5: Convergence plot obtained from data-parallel algorithm for HJB-Lin equation in 100,000 dimensions. To perform this experiment we use DIM=101 and $N_{f}=100$ . Here we denote the batch size for dimension in Algorithms 1 and/or 2 of SDGD as DIM and the number of collocation points used in ea

실험 결과

연구 질문

• RQ1 PDE 용어를 차원에 따라 분해할 때 그래디언트가 PINN 학습에 대해 편향되지 않는 확률적 그래디언트를 제공하는가?
• RQ2 PDE 용어를 샘플링하는 것이 정확도 손실 없이 메모리를 줄이고 수렴 속도를 높이는가?
• RQ3 고차원 PDE에서 같은 메모리 제약 하에 COLL POINT 샘플링에 비해 SDGD가 안정성, 수렴성 및 메모리 사용 측면에서 어떻게 비교되는가?
• RQ4 SDGD가 Hamilton-Jacobi-Bellman 및 Schrödinger 방정식과 같은 고차원 PDE를 실제 하드웨어에서 매우 큰 차원에서 해결할 수 있는가?
• RQ5 편향성, 수렴성 등 이론적 보장은 무엇이며, 고정된 메모리 예산에서 최적의 분산을 위해 배치 크기를 어떻게 선택해야 하는가?

주요 결과

• SDGD는 PDE 항목의 그래디언트를 샘플링하여 PINN에 대한 편향되지 않는 확률적 그래디언트를 제공하고 메모리 효율적 학습을 가능하게 한다.
• SDGD를 사용하면 극히 높은 차원 PDE로 확장할 수 있으며, 일부 경우 단일 GPU에서 몇 시간 내에 100,000개의 유효 차원까지 비선형 PDE를 풀 수 있다.
• SDGD는 COLL POINT에 대한 SGD의 안정성과 비교되는 안정성을 보여주며 동일한 메모리 제약 하에서도 여러 비선형 고차원 PDE에서 이를 능가할 수 있다.
• 이 방법은 메쉬-프리 학습과 전체 도메인 예측을 가능하게 하고, 적대적 학습(adversarial training)과 결합될 때 고차원 학습을 크게 가속화한다.
• 이 접근법은 병렬 컴퓨팅과 그래디언트 축적을 활용하여 상당한 속도 향상을 달성하고 PINN의 매우 높은 차원으로의 실용적 적용성을 확장한다.

Figure 6: Schematic of tensor parallel approach. Here, $w$ is a weight matrix that is split into column axis and deployed to different GPUs.