[논문 리뷰] Partial inversion of the elliptic operator to speed up computation of likelihood in Bayesian inference

Alexander Litvinenko|arXiv (Cornell University)|2017. 08. 07.

Seismic Imaging and Inversion Techniques참고 문헌 57인용 수 4

한 줄 요약

이 논문은 타원형 미분연산자의 부분 역행렬을 통해 전체 시스템을 역행렬하지 않고도 필요한 해 기능들—예를 들어 점값, 경계면 해, 또는 부분영역 평균—을 계산할 수 있도록 하는 계층적 도메인 분할(HDD) 방법을 제안한다. 유한요소법(FEM)과 $\chi$-행렬 압축을 조합함으로써 계산 비용을 $\chi(n^3)$에서 $\chi(n \log^2 n)$로 감소시켜 베이지안 추론과 데이터 융합에서 우도 평가를 크게 가속화하면서도 높은 정확도를 유지한다.

ABSTRACT

Often, when solving forward, inverse or data assimilation problems, only a part of the solution is needed. As a model, we consider the stationary diffusion problem. We demonstrate an algorithm that can compute only a part or a functional of the solution, without calculating the full inversion operator and the complete solution. It is a well-known fact about partial differential equations that the solution at each discretisation point depends on the solutions at all other discretisation points. Therefore, it is impossible to compute the solution only at one point, without calculating the solution at all other points. The standard numerical methods like a conjugate gradient or Gauss elimination compute the whole solution and/or the complete inverse operator. We suggest a method which can compute the solution of the given partial differential equation 1) at a point; 2) at few points; 3) on an interface; or a functional of the solution, without computing the solution at all points. The required storage cost and computational resources will be lower as in the standard approach. With this new method, we can speed up, for instance, computation of the innovation in filtering or the likelihood distribution, which measures the data misfit (mismatch). Further, we can speed up the solution of the regression, Bayesian inversion, data assimilation, and Kalman filter update problems. Applying additionally the hierarchical matrix approximation, we reduce the cubic computational cost to almost linear $\mathcal{O}(k^2n \log^2 n)$, where $k\ll n$ and $n$ is the number of degrees of freedom. Up to the hierarchical matrix approximation error, the computed solution is exact. One of the disadvantages of this method is the need to modify the existing deterministic solver.

연구 동기 및 목표

• 타원형 PDE의 전체 해를 풀지 않음으로써 베이지안 추론에서 우도 계산을 가속화하기 위해.
• 전체 해를 계산하지 않고도 점값, 경계면 자료, 또는 부분영역 평균과 같은 해 기능들을 효율적으로 계산하기 위해.
• 관측 가능하거나 관련 있는 해의 부분만에 초점을 맞춤으로써 역문제, 데이터 융합, 칼만 필터링에서 계산 비용과 메모리 사용량을 줄이기 위해.
• 계층적 행렬($\chi$-행렬) 압축을 도메인 분할과 통합하여 근사 선형 복잡도를 달성하기 위해.

제안 방법

• 계층적 도메인 분할(HDD)을 사용하여 계산 도메인을 하위 도메인으로 반복적으로 분할하고 국소 해 연산자를 계산한다.
• 서브도메인 자료와 경계면 및 경계값 간의 관계를 정의하기 위해 슈어 여유 기법을 사용하여 인터페이스 및 경계 매핑 $\Phi^{f}_{\omega}, \Phi^{g}_{\omega}$와 $\Psi^{f}_{\omega}, \Psi^{g}_{\omega}$를 정의한다.
• $\mathcal{H}$-행렬 근사법을 중간 행렬에 적용하여 $\mathcal{O}(n \log^2 n)$의 저장 용량과 $\mathcal{O}(n \log^3 n)$의 복잡도를 갖는 데이터 희소 표현을 달성한다.
• 두 단계 알고리즘을 사용한다: '잎에서 루트로' 국소 연산자를 계산하고, '루트에서 잎으로' 해 기능들을 재구성한다.
• 우도 함수를 계산하기 위해 오른쪽 항과 강성 행렬에 대해 별도의 미세 및 거친 메esh를 사용하여 다중스케일 효율성을 달성한다.
• 전체 해 역행렬을 계산하지 않고 필요한 데이터 오차(우도) 기능들을 계산함으로써 베이지안 추론과 통합한다.

실험 결과

연구 질문

• RQ1 우리가 전체 PDE를 풀지 않고도 베이지안 추론에서 우도 평가에 필요한 해의 일부 또는 그 기능을 계산할 수 있는가?
• RQ2 계층적 도메인 분할과 $\mathcal{H}$-행렬 압축을 어떻게 조합하여 계산 비용을 줄이면서도 정확도를 유지할 수 있는가?
• RQ3 표준 반복 해법인 PCG와 비교했을 때 부분 역행렬 연산자를 계산하는 데 드는 계산 및 저장 오버헤드는 어떠한가?
• RQ4 이 방법은 오른쪽 항과 강성 행렬에 대해 서로 다른 해상도 수준을 갖는 다중스케일 문제에 효율적으로 적용될 수 있는가?
• RQ5 특히 인터페이스 크기와 행렬 복잡도 측면에서, 이 방법은 2D 및 3D 문제 크기에 따라 어떻게 스케일링되는가?

주요 결과

• HDD 방법은 $\mathcal{O}(n^3)$에서 $\mathcal{O}(n \log^3 n)$으로 계산 비용을 감소시키고, $\mathcal{O}(n^2)$에서 $\mathcal{O}(n \log^2 n)$로 저장 용량을 감소시켜 $\mathcal{H}$-행렬 압축을 통해 달성한다.
• 수치 실험에서 높은 정확도를 확보하여 오차가 $10^{-5}$ 이하로 유지되었고, 해 품질 측면에서 PCG 결과와 일치하였다.
• $n = 513^2$ 자유도일 경우, HDD는 $\mathcal{H}$-콜레스키 조절을 사용한 PCG보다 더 적은 메모리를 사용하였고, 후자는 메모리 오버플로우로 인해 실패하였다.
• 모든 $\Phi^{f}_{\omega}, \Phi^{g}_{\omega}$ 연산자의 총 메모리 요구량은 $n$에 대해 거의 선형적으로 증가하여 데이터 희소 효율성을 확인한다.
• HDD 방법은 트리의 각 수준에서 전체 해 연산자 ($\Phi^{g}, \Phi^{f}$)를 계산하여, 여러 기능들을 재사용할 수 있도록 하며 재계산이 필요하지 않다.
• 수치 결과는 HDD가 직접 $\mathcal{H}$-행렬 역행렬보다 효율적이며, PCG보다 해의 세부 정보 측면에서 더 정확하다는 것을 보여주지만, PCG보다 자원 소비는 더 높다.