[논문 리뷰] Multipole Graph Neural Operator for Parametric Partial Differential Equations

Zongyi Li, Nikola Kovachki외 5명|arXiv (Cornell University)|2020. 06. 16.

Model Reduction and Neural Networks참고 문헌 47인용 수 159

한 줄 요약

MGKN은 빠른 다중극 방법에서 영감을 받아 매개변수 PDE에 대한 격자 불변의 해 연산자를 학습하기 위한 다층 그래프 신경 연산자를 도입하고, 선형 시간 복잡도를 가진다.

ABSTRACT

One of the main challenges in using deep learning-based methods for simulating physical systems and solving partial differential equations (PDEs) is formulating physics-based data in the desired structure for neural networks. Graph neural networks (GNNs) have gained popularity in this area since graphs offer a natural way of modeling particle interactions and provide a clear way of discretizing the continuum models. However, the graphs constructed for approximating such tasks usually ignore long-range interactions due to unfavorable scaling of the computational complexity with respect to the number of nodes. The errors due to these approximations scale with the discretization of the system, thereby not allowing for generalization under mesh-refinement. Inspired by the classical multipole methods, we propose a novel multi-level graph neural network framework that captures interaction at all ranges with only linear complexity. Our multi-level formulation is equivalent to recursively adding inducing points to the kernel matrix, unifying GNNs with multi-resolution matrix factorization of the kernel. Experiments confirm our multi-graph network learns discretization-invariant solution operators to PDEs and can be evaluated in linear time.

연구 동기 및 목표

• 고정된 이산화에 의존하는 것을 넘어 매개변수 PDE의 해 연산자에 대한 빠르고 데이터 기반 학습을 고무한다.
• 표준 GNN의 장거리 상호작용 한계를 다중 스케일의 선형 시간 프레임워크를 도입하여 극복한다.
• 격자 불변 연산자 학습을 가능하게 하기 위해 그래프 신경망과 다중 해상도 행렬 분해를 통합한다.

제안 방법

• PDE 해 연산자를 커널 기반의 그래프 연산자로 모델링하고 커널 네트워크로 학습한다.
• 장거리 상호작용을 포착하기 위해 유도점(inducing points)을 도입하고 다층 그래프에 확장한다.
• 빠른 다중극에서 영감을 받은 계층 구조를 이용해 커널을 범위로 분해하고 V-사이클을 적용하여 다중 해상도 인수를 계산한다.
• Nyström 근사를 사용하여 선형 또는 근사 선형 복잡도를 달성한다.
• L개의 그래프 계층에 걸친 내부 수준(intra-level) 및 계층 간(inter-level) 전이를 위해 다수의 커널 네트워크를 학습시킨다.
• Darcy 유동과 Burgers 방정식에서 격자 불변성과 선형 시간 평가를 입증한다.

실험 결과

연구 질문

• RQ1 MGKN은 매개변수 PDE에 대해 격자 불변(메시-불변) 해 연산자를 학습할 수 있는가?
• RQ2 다층 다중극에서 영감을 받은 그래프 아키텍처가 노드 수에 대해 선형 계산 복잡도를 보이는가?
• RQ3 장거리 상관관계를 가진 선형 및 비선형 PDE에서 MGKN의 성능은 기준 모델과 비교해 어떠한가?
• RQ4 정확도와 효율성에 대한 레벨 수 L의 영향은 무엇인가?
• RQ5 Nyström 유도 근사가 해상도 간의 연산자 정확도를 어느 정도 보존하는가?

주요 결과

• MGKN은 노드 수에 대해 선형 시간 복잡도를 달성하여 2차 복잡도 기반의 기준선보다 우수하다.
• 그래프 계층을 추가하면 Darcy 흐름에서 테스트 오차가 감소하고 시간 비용이 크게 증가하지 않으면서 정확도가 향상된다.
• 조밀하지 않은 격자에서 학습된 MGKN은 더 촘촘한 격자로 일반화할 수 있어 격자 불변성(초해상도 능력)을 입증한다.
• Burgers 방정식에서 벤치마크 대비 경쟁력 있거나 우수한 성능을 제공하며, 특히 선형 공간이 충분하지 않을 때 그렇다.
• 테스트된 Darcy 흐름 설정에서 직교 커널 분해가 더 나은 성능을 경향을 보인다.