[논문 리뷰] Sparse Cholesky Factorization for Solving Nonlinear PDEs via Gaussian Processes

Yifan Chen, Houman Owhadi외 1명|arXiv (Cornell University)|2023. 04. 03.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 비선형 PDE를 해결하기 위한 가우시안 프로세스(GP) 기반 해법에 대해 희소 Cholesky 분해 알고리즘을 제안한다. 이는 딜타 측정값과 도함수 측정값의 새로운 순서를 도입하여 역 커널 행렬의 거의 희소성(near-sparsity)을 유도한다. 이 방법은 $O(N/\log^{d}(N/\rho))$의 공간 복잡도와 $O(N/\log^{2d}(N/\rho))$의 시간 복잡도를 달성하여, 조절된 공액 기울기 방법을 사용한 효율적 최적화를 통해 타당성 있고 고정밀도로 비선형 PDE, 예를 들어 타원형, 버거스, 몽주-아프레 방정식을 스케일러블하게 해결할 수 있다.

ABSTRACT

In recent years, there has been widespread adoption of machine learning-based approaches to automate the solving of partial differential equations (PDEs). Among these approaches, Gaussian processes (GPs) and kernel methods have garnered considerable interest due to their flexibility, robust theoretical guarantees, and close ties to traditional methods. They can transform the solving of general nonlinear PDEs into solving quadratic optimization problems with nonlinear, PDE-induced constraints. However, the complexity bottleneck lies in computing with dense kernel matrices obtained from pointwise evaluations of the covariance kernel, and its extit{partial derivatives}, a result of the PDE constraint and for which fast algorithms are scarce. The primary goal of this paper is to provide a near-linear complexity algorithm for working with such kernel matrices. We present a sparse Cholesky factorization algorithm for these matrices based on the near-sparsity of the Cholesky factor under a novel ordering of pointwise and derivative measurements. The near-sparsity is rigorously justified by directly connecting the factor to GP regression and exponential decay of basis functions in numerical homogenization. We then employ the Vecchia approximation of GPs, which is optimal in the Kullback-Leibler divergence, to compute the approximate factor. This enables us to compute $ε$-approximate inverse Cholesky factors of the kernel matrices with complexity $O(N\log^d(N/ε))$ in space and $O(N\log^{2d}(N/ε))$ in time. We integrate sparse Cholesky factorizations into optimization algorithms to obtain fast solvers of the nonlinear PDE. We numerically illustrate our algorithm's near-linear space/time complexity for a broad class of nonlinear PDEs such as the nonlinear elliptic, Burgers, and Monge-Ampère equations.

연구 동기 및 목표

• 비선형 PDE 해법에서 GP 기반의 밀도 있는 커널 행렬로 인한 계산적 병목 현상을 해결하기 위해, $N$개의 콜로케이션 점에 대해 $O(N^3)$의 복잡도로 증가하는 문제를 해결한다.
• 일반적인 비선형 PDE를 해결하기 위해 스케일러블하고 정확하며 효율적인 알고리즘을 개발한다.
• 새로운 측정값 순서 하에서 역 커널 행렬의 Cholesky 분해의 희소성과 근사 정확도를 철저히 분석한다.
• 감소된 커널 행렬이 충분한 딜타 측정값을 갖지 못하는 비선형 PDE에 대해, 가우스-뉴턴 방법으로의 프레임워크 확장을 시도한다.
• 다양한 비선형 PDE, 특히 몽주-아프레 방정식과 같은 완전히 비선형인 경우에도 거의 선형 복잡도와 고정밀도를 유지함을 보여준다.

제안 방법

• 역 커널 행렬의 Cholesky 분해에서 거의 희소성을 유도하기 위해 딜타 측정값과 도함수 측정값의 새로운 순서를 제안한다.
• Kullback-Leibler 발산에서 최적이며 입증된 Vecchia 근사법을 적용하여 역 Cholesky 분해의 희소 근사를 계산한다.
• KL 최소화를 통해 희소 Cholesky 분해를 계산하며, 프로베니우스 노름에서 지수 수렴을 보여주는 엄밀한 오차 한계를 제시한다.
• 가우스-뉴턴 반복에서 감소된 커널 행렬에 대해, 동일한 희소 분해를 공액 기울기(pCG) 해법의 조절자로 사용한다.
• 복잡한 PDE, 예를 들어 몽주-아프레 방정식에서 커널 도함수의 자동 미분을 활용하여 융통성과 정확도를 확보한다.
• 희소 분해를 순차적 목적함수 최적화와 가우스-뉴턴 방법과 결합하여 스케일러블하고 고정밀도의 PDE 해법을 달성한다.

실험 결과

연구 질문

• RQ1 새로운 측정값 순서가 GP 기반 PDE 해법에서 역 커널 행렬의 Cholesky 분해에 거의 희소성을 유도할 수 있는가?
• RQ2 새로운 순서 기반 Vecchia 근사의 이론적 정확도는 무엇이며, Kullback-Leibler 발산과의 관계는 어떠한가?
• RQ3 희소 Cholesky 분해가 일반적인 비선형 PDE에 대해 $O(N\log^{d}(N/\epsilon))$의 공간 및 시간 복잡도를 달성할 수 있는가?
• RQ4 스패arsity 감쇠가 더 약한 감소된 커널 행렬에 대해 가우스-뉴턴 반복에서 이 방법의 성능은 어떠한가?
• RQ5 이 알고리즘은 몽주-아프레와 같은 완전히 비선형인 PDE를 포함한 다양한 비선형 PDE에서 거의 선형 복잡도와 고정밀도를 유지하는가?

주요 결과

• 제안된 희소 Cholesky 분해는 프로베니우스 노름에서 $\epsilon$-정확도를 달성하며, 공간 복잡도 $O(N\log^{d}(N/\epsilon))$와 시간 복잡도 $O(N\log^{2d}(N/\epsilon))$를 확보한다.
• 새로운 순서 기반 Vecchia 근사는 Kullback-Leibler 발산에서 최적이며, 지수 수렴 정확도를 보인다.
• 버거스 방정식의 경우, $N=2000$일 때 $L^2$ 오차는 $6.111 \times 10^{-5}$, $N=4000$일 때는 $7.453 \times 10^{-5}$로 고정된 파rameter로도 고정밀도를 달성한다.
• 몽주-아프레 방정식 사례에서 $L^2$ 오차는 $N_{\text{domain}}$ 증가에 따라 감소하며, 복잡한 도함수 구조에도 불구하고 수렴을 확인한다.
• 가우스-뉴턴 방법은 $O(1)$단계 내 수렴하며, 희소 분해를 조절자로 사용한 pCG는 거의 일정한 반복 수를 요구하여 거의 선형 전체 복잡도를 달성한다.
• 모든 테스트된 PDE에서 CPU 시간에 대해 거의 선형 스케일링을 보이며, 커널 도함수의 자동 미분가 필요한 경우에도 마찬가지다.