[논문 리뷰] Sparse recovery of elliptic solvers from matrix-vector products

Florian Schäfer, Houman Owhadi|arXiv (Cornell University)|2021. 10. 11.

Advanced Numerical Methods in Computational Mathematics인용 수 4

한 줄 요약

이 논문은 유한차분 또는 유한요소 방법으로 이산화된 타원형 PDE 해법기의 희소 콜레스키 분해를 오직 𝒪(log N log^d(N/ε))개의 행렬-벡터 곱으로 복원하는 새로운 알고리즘을 제안한다. 이는 정확하고 병렬적이며 압축 가능한 해법 연산자 근사화를 가능하게 하며, 고차수 또는 불규칙한 계수를 가진 연산자에 대해서도 최소한의 블랙박스 쿼리로 거의 최적의 정확도를 달성한다.

ABSTRACT

In this work, we show that solvers of elliptic boundary value problems in $d$ dimensions can be approximated to accuracy $ε$ from only $\mathcal{O}\left(\log(N)\log^{d}(N / ε) ight)$ matrix-vector products with carefully chosen vectors (right-hand sides). The solver is only accessed as a black box, and the underlying operator may be unknown and of an arbitrarily high order. Our algorithm (1) has complexity $\mathcal{O}\left(N\log^2(N)\log^{2d}(N / ε) ight)$ and represents the solution operator as a sparse Cholesky factorization with $\mathcal{O}\left(N\log(N)\log^{d}(N / ε) ight)$ nonzero entries, (2) allows for embarrassingly parallel evaluation of the solution operator and the computation of its log-determinant, (3) allows for $\mathcal{O}\left(\log(N)\log^{d}(N / ε) ight)$ complexity computation of individual entries of the matrix representation of the solver that, in turn, enables its recompression to an $\mathcal{O}\left(N\log^{d}(N / ε) ight)$ complexity representation. As a byproduct, our compression scheme produces a homogenized solution operator with near-optimal approximation accuracy. By polynomial approximation, we can also approximate the continuous Green's function (in operator and Hilbert-Schmidt norm) to accuracy $ε$ from $\mathcal{O}\left(\log^{1 + d}\left(ε^{-1} ight) ight)$ solutions of the PDE. We include rigorous proofs of these results. To the best of our knowledge, our algorithm achieves the best known trade-off between accuracy $ε$ and the number of required matrix-vector products.

연구 동기 및 목표

• 전통적인 행렬-벡터 곱 샘플링을 통한 타원형 PDE 해법기의 완전한 재구성에 따른 높은 계산 비용을 해결한다.
• 해법기의 블랙박스 쿼리 수를 최소화하면서도 이산화된 타원형 연산자(예: 유한요소 또는 유한차분)의 역행렬을 근사하는 방법을 개발한다.
• 희소하고 압축 가능한 콜레스키 분해를 통해 해법 연산자, 그 로그 행렬식, 개별 행렬 원소의 효율적인 계산을 가능하게 한다.
• 최악의 경우 설정에서 정확도 ε과 요구되는 행렬-벡터 곱의 수 사이에 증명 가능한 최적의 트레이드오프를 달성한다.
• 비자기수 연산자 및 복잡한 기하학, 예를 들어 혼합 경계 조건을 가진 유한요소 모델까지의 적용 가능성을 확장한다.

제안 방법

• 다항식 근사와 랜덤화 샘플링을 활용하여 𝒪(log N log^d(N/ε))개의 행렬-벡터 곱으로 역연산자의 희소 콜레스키 분해를 구성한다.
• 그린 함수의 구조와 콜레스키 요소의 지수적 감쇠 특성을 이용해 해법 연산자의 희소 근사를 가능하게 한다.
• 적절히 선택된 우항을 가진 랜덤화 샘플링 기반 방법을 통해 블랙박스 쿼리 수를 최소화하면서도 역연산자를 저질서, 희소 형식으로 복원한다.
• 𝒪(N log^d(N/ε))개의 비영원소를 가진 해법 연산자의 압축 표현을 구성하여 효율적인 평가 및 재압축을 가능하게 한다.
• 희소 콜레스키 분해를 활용해 각 행렬 원소를 𝒪(log N log^d(N/ε))의 비용으로 효율적으로 계산할 수 있다.
• 행렬-벡터 곱과 행렬 전치-벡터 곱을 이용한 LU 분해 복원을 통해 비자기수 연산자로의 프레임워크 확장을 수행한다.

실험 결과

연구 질문

• RQ1 선형 타원형 PDE의 해법 연산자는 ε 정확도로 N개 이하의 행렬-벡터 곱보다 훨씬 적은 수로 근사할 수 있는가?
• RQ2 오직 𝒪(log N log^d(N/ε))개의 블랙박스 쿼리로 역연산자의 희소 압축 가능한 콜레스키 분해를 구성할 수 있는가?
• RQ3 불규칙한 계수나 비국소 연산자와 같은 낮은 정규성 가정 조건 하에서도 이 방법이 높은 정확도와 강건성을 유지하는가?
• RQ4 개별 역행렬 원소를 효율적으로 계산할 수 있는가? 이는 저비용의 행렬 압축 및 로그 행렬식 계산을 가능하게 한다.
• RQ5 이 프레임워크는 비자기수 타원형 연산자 및 복잡한 기하학을 가진 유한요소 이산화에 확장 가능한가?

주요 결과

• 알고리즘은 오직 𝒪(log^{1+d}(ε^{-1}))개의 행렬-벡터 곱으로 연산자 노름 및 힐버트-슈미트 노름에서 ε 정확도로 해법 연산자를 복원한다.
• 복원된 콜레스키 분해는 𝒪(N log(N) log^d(N/ε))개의 비영원소를 가지며, 해법 연산자의 평가는 𝒪(N log²(N) log²d(N/ε))의 시간 복잡도로 수행된다.
• 각 역행렬 원소는 1개당 𝒪(log N log^d(N/ε))의 비용으로 계산 가능하여, 𝒪(N log^d(N/ε)) 복잡도로 효율적인 행렬 압축이 가능하다.
• 기존 방법에 비해 샘플 복잡도에서 지수적 향상을 달성하며, 특히 최악의 경우에서 뛰어난 성능을 보이며, 파wr-메서드 기반 저질서 근사보다 뛰어나다.
• 고대비 계수(예: 대비 비율 ~10⁴) 또는 비국소 분수 라플라스 연산자와 같은 복잡한 상황에서도 강건하며, 거의 최적의 근사 속도를 유지한다.
• 이 프레임워크는 해법 연산자의 매우 간단한 병렬 평가와 로그 행렬식의 효율적 계산을 가능하게 하여, 가우시안 프로세스 추론에 매우 중요하다.