[논문 리뷰] Neural Operator: Graph Kernel Network for Partial Differential Equations

Zongyi Li, Nikola Kovachki외 5명|arXiv (Cornell University)|2020. 03. 07.

Model Reduction and Neural Networks참고 문헌 35인용 수 154

한 줄 요약

Neural Operator를 도입하는, 함수 공간 간 매핑을 학습하는 메시-불변 네트워크로서 그래프 커널 네트워크와 Nyström 근사를 사용해 다양한 이산화에서 PDE를 해결합니다.

ABSTRACT

The classical development of neural networks has been primarily for mappings between a finite-dimensional Euclidean space and a set of classes, or between two finite-dimensional Euclidean spaces. The purpose of this work is to generalize neural networks so that they can learn mappings between infinite-dimensional spaces (operators). The key innovation in our work is that a single set of network parameters, within a carefully designed network architecture, may be used to describe mappings between infinite-dimensional spaces and between different finite-dimensional approximations of those spaces. We formulate approximation of the infinite-dimensional mapping by composing nonlinear activation functions and a class of integral operators. The kernel integration is computed by message passing on graph networks. This approach has substantial practical consequences which we will illustrate in the context of mappings between input data to partial differential equations (PDEs) and their solutions. In this context, such learned networks can generalize among different approximation methods for the PDE (such as finite difference or finite element methods) and among approximations corresponding to different underlying levels of resolution and discretization. Experiments confirm that the proposed graph kernel network does have the desired properties and show competitive performance compared to the state of the art solvers.

연구 동기 및 목표

• 유한 차원의 공간이 아니라 무한 차원의 함수 공간 간의 매핑 학습을 촉진한다.
• 이산화에 불변하고 메쉬 해상도 간 전이 가능한 신경 오퍼레이터 프레임워크를 개발한다.
• 그래프 신경망 기반의 커널을 통해 Nyström-타입 커널 적분으로 PDE 해 연산자를 근사한다.
• 하나의 네트워크 파라미터 세트로 서로 다른 이산화와 격자에 대해 일반화될 수 있음을 시연한다.

제안 방법

• Neural Operator를 Banach 공간 사이의 연산자-값 매핑으로 정의하고 이를 그래프 커널 네트워크로 근사한다.
• 커널 기반의 메시지 전달 스킴을 사용하여 PDE 해 표현에서 적분 연산자의 작용을 근사한다.
• 에지 특징을 n×n 행렬로 매핑하는 신경망 φ를 통해 커널을 매개화하여 이산화 전반에서 공유 파라미터 집합을 가능하게 한다.
• Nyström 확장과 몬테 카를로 부분 샘플링을 통해 연속 커널을 이산 그래프에 연결하여 확장 가능하고 메시-독립적인 계산을 달성한다.
• 활성화 함수 σ를 사용해 t=0,...,T에서 숨겨진 상태 v_t를 반복하고, 최종 프로젝션 층을 통해 해 u를 복구한다.

실험 결과

연구 질문

• RQ1 신경망이 이산화에 불변(discretization-invariant)인 무한 차원 함수 공간(연산자) 간의 매appings를 학습할 수 있는가?
• RQ2 하나의 이산화에서 학습된 그래프 기반 커널 네트워크가 PDE 해 연산자에 대해 서로 다른 메시 해상도와 격자에 일반화되는가?
• RQ3 Nyström 유형의 커널 근사가 PDE 연산자의 확장 가능하고 메시-무관한 학습을 얼마나 효과적으로 가능하게 하는가?
• RQ4 포아송 유형 PDE에 대한 Green 함수 유사 커널 학습에서 그래프 커널 네트워크의 데이터 효율성은 어느 정도인가?
• RQ5 부분 지도 학습이 적은 포인트의 데이터로부터 정확한 연산자 학습을 가능하게 하고 전체 영역으로 일반화할 수 있는가?

주요 결과

• 그래프 커널 네트워크는 서로 다른 이산화 및 격자 해상도에 대해 일반화된다.
• Nyström 기반 서브샘플링으로 정확도를 유지하면서 O(l m^2)의 확장 가능한 계산을 달성한다.
• 2D 포아송 방정식의 경우, 그래프 커널 네트워크는 조밀한 네트에 비해 경쟁력 있는 오차를 달성하기 위해 더 적은 학습 샘플이 필요하다.
• 이 접근법은 부분 지도 학습을 수행하여 제한된 지점의 데이터로부터 전체 영역까지 일반화한다.
• 한 해상도에서의 학습은 다른 해상도에 대한 합리적 일반화를 제공하며, 대각선 결과가 종종 최상의 성능을 낸다.
• Nyström 샘플링 라운드(l)를 증가시키면 오차가 감소하여 샘플링과 학습 데이터 간의 트레이드오프를 보여준다.