[논문 리뷰] Solving PDEs on Unknown Manifolds with Machine Learning

Senwei Liang, Shixiao W. Jiang외 2명|arXiv (Cornell University)|2021. 06. 12.

Model Reduction and Neural Networks참고 문헌 110인용 수 7

한 줄 요약

이 논문은 점군으로 표현된 알려지지 않은 다양체 위에서 타원형 PDE를 해결하기 위한 메esh-free, 딥러닝 기반 프레임워크를 제안한다. 확산 맵을 사용해 다양체 라플라시안을 근사하고, 최소제곱 최소화를 통해 신경망을 훈련시킨다. 이 방법은 대량의 데이터에서 진짜 해로 일致하는 수렴을 보이며, 넓은 두께의 이중층 네트워크에서는 경사하강법가 전역 최소값에 수렴함을 증명할 수 있다.

ABSTRACT

This paper proposes a mesh-free computational framework and machine learning theory for solving elliptic PDEs on unknown manifolds, identified with point clouds, based on diffusion maps (DM) and deep learning. The PDE solver is formulated as a supervised learning task to solve a least-squares regression problem that imposes an algebraic equation approximating a PDE (and boundary conditions if applicable). This algebraic equation involves a graph-Laplacian type matrix obtained via DM asymptotic expansion, which is a consistent estimator of second-order elliptic differential operators. The resulting numerical method is to solve a highly non-convex empirical risk minimization problem subjected to a solution from a hypothesis space of neural networks (NNs). In a well-posed elliptic PDE setting, when the hypothesis space consists of neural networks with either infinite width or depth, we show that the global minimizer of the empirical loss function is a consistent solution in the limit of large training data. When the hypothesis space is a two-layer neural network, we show that for a sufficiently large width, gradient descent can identify a global minimizer of the empirical loss function. Supporting numerical examples demonstrate the convergence of the solutions, ranging from simple manifolds with low and high co-dimensions, to rough surfaces with and without boundaries. We also show that the proposed NN solver can robustly generalize the PDE solution on new data points with generalization errors that are almost identical to the training errors, superseding a Nystrom-based interpolation method.

연구 동기 및 목표

• 점군 데이터만 제공되고 매개변수화가 알려지지 않은 다양체 위에서 타원형 PDE를 해결하기 위한 메쉬 프리 수치적 방법을 개발한다.
• 메쉬 생성, RBF, DM 기반 솔버와 같은 전통적 방법의 한계를 극복한다. 이는 보간이 필요하거나 계산 비용이 높기 때문이다.
• 딥 네트워크를 PDE 해 근사의 가설 공간으로 활용하여 새로운 데이터 포인트로의 일반화를 가능하게 한다.
• 잘 정의된 타원형 조건 하에서 제안된 학습 기반 PDE 솔버의 이론적 수렴 보장을 수립한다.
• 다양한 복잡도의 다양체, 특히 고차원, 거친 표면, 경계가 있는 경우에서도 강건한 성능을 보여준다.

제안 방법

• PDE 해를 최소제곱 손실 함수를 최소화하는 지도 학습 문제로 공식화하여, 대수적으로 PDE와 경계 조건을 강제한다.
• 확산 맵(DM)을 사용해 다양체의 두 번째 순서 미분 연산자를 渐近적으로 근사하는 그래프-라플라시안 행렬을 구성한다.
• PDE가 DM 기반 라플라시안과 신경망 출력을 포함하는 행렬 방정식을 통해 수치적 방법으로 강제하는 체계를 구성한다.
• 경사하강법을 사용해 경험적 리스크를 최소화하도록 딥 네트워크를 훈련시키며, 학습 안정화를 위해 정규화를 적용한다.
• 충분히 넓은 두께의 이중층 ReLU 네트워크를 사용하여, 경사하강법가 경험적 손실의 전역 최소값에 수렴함을 보장한다.
• 무한한 넓이나 깊이를 가진 신경망의 가설 공간을 사용해, 대량의 데이터에서 전역 최소값의 일致성을 증명한다.

실험 결과

연구 질문

• RQ1 딥 네트워크 기반 솔버는 알려지지 않은 다양체 위에서 점군 데이터로부터 타원형 PDE의 진짜 해로 일致하는 수렴을 달성할 수 있는가?
• RQ2 제안된 방법은 훈련 세트를 초월해 새로운, 보지 못한 데이터 포인트로 일반화 잘 되는가?
• RQ3 가설 공간이 이중층 넓은 신경망일 때, 비볼록 경험적 리스크의 전역 최소값으로 경사하강법이 수렴할 수 있는가?
• RQ4 고차원, 거친 표면, 경계가 있는 다양체에서 이 방법은 어떻게 성능을 보이는가?
• RQ5 신경망의 넓이와 경사하강법이 전역 해로 수렴하는 것 사이의 이론적 관계는 무엇인가?

주요 결과

• 가설 공간이 무한히 넓거나 깊은 신경망인 경우, 대량의 훈련 데이터에서 경험적 손실의 전역 최소값이 진짜 PDE 해로 수렴한다.
• 충분히 넓은 두께의 이중층 ReLU 네트워크의 경우, 경사하강법는 경험적 손실의 전역 최소값으로 수렴하며, 수렴 속도는 $ \exp\left(-\frac{\lambda_S \lambda_A t}{N}\right) $로 유계이다.
• 제안된 방법은 새로운 데이터 포인트로 강건하게 일반화되며, 일반화 오차는 훈련 오차와 거의 동일하며, 니스트롬 기반 보간보다 뛰어난 성능을 보인다.
• 수치 실험을 통해 구형, 토러스, 반토러스, 토끼와 얼굴과 같은 복잡한 형태에 대한 수렴이 낮은 고차원과 높은 고차원에서 확인되었다. 딜리클레 조건이 적용된 경우에도 성능이 우수하다.
• 이 방법은 거친 표면과 경계 조건에 대해 강건하며, 다양한 데이터 밀도와 임베딩 차원에서 일관된 성능을 보인다.
• 예제들에 걸쳐 하이퍼파rameter 튜닝을 통해 데이터 크기가 증가함에 따라 안정적인 성능을 보였으며, 이는 이론적 수렴 주장에 대한 지원이 된다.