[논문 리뷰] Quantifying uncertainties in Large-scale Bayesian linear inverse problems using Krylov subspace methods

Arvind K. Saibaba, Julianne Chung외 1명|arXiv (Cornell University)|2018. 08. 27.

Gaussian Processes and Bayesian Inference인용 수 1

한 줄 요약

이 논문은 대규모 베이지안 선형 역문제에서 사후 공분산 행렬을 효율적으로 근사하기 위해 Krylov 부분공간 방법, 특히 일반화된 Golub-Kahan 이단형분해를 사용하는 것을 제안한다. 기존의 Krylov 반복값을 활용하여 전처리된 Lanczos 방법을 통해 저비용의 불확실성 정량화와 사후 표본 추출을 가능하게 하며, 이론적 오차 한계를 제시하고 단층촬영 영상 분석에서의 효과를 입증한다.

ABSTRACT

For linear inverse problems with a large number of unknown parameters, uncertainty quantification remains a challenging task. In this work, we use Krylov subspace methods to approximate the posterior covariance matrix and describe efficient methods for exploring the posterior distribution. Assuming that Krylov methods (e.g., based on the generalized Golub-Kahan bidiagonalization) have been used to compute an estimate of the solution, we get an approximation of the posterior covariance matrix for `free.' We provide theoretical results that quantify the accuracy of the approximation and of the resulting posterior distribution. Then, we describe efficient methods that use the approximation to compute measures of uncertainty, including the Kullback-Liebler divergence. We present two methods that use preconditioned Lanczos methods to efficiently generate samples from the posterior distribution. Numerical examples from tomography demonstrate the effectiveness of the described approaches.

연구 동기 및 목표

• 많은 미지수를 가진 대규모 선형 역문제에서 불확실성 정량화의 계산적 과제를 해결한다.
• Krylov 기반 해 추정치가 계산된 후 추가 비용 없이 사후 공분산 행렬을 근사하는 방법을 개발한다.
• 전처리된 Lanczos 방법을 활용하여 사후 분포에서 효율적으로 표본을 추출할 수 있도록 한다.
• 사후 공분산 근사 및 유도된 불확실성 측정치에 대한 이론적 오차 한계를 제공한다.
• 실제 단층촬영 역문제에 대해 제안된 방법을 적용하여 확장성과 정확성을 검증한다.

제안 방법

• 시스템 행렬과 데이터로부터 Krylov 부분공간을 생성하기 위해 일반화된 Golub-Kahan 이단형분해를 활용하여 사후 공분산의 낮은 질서 근사를 가능하게 한다.
• 해 추정 과정에서 이미 계산된 Krylov 반복값을 활용하여 사후 공분산 근사를 암묵적으로 구성한다.
• 공분산 근사의 낮은 질서 구조를 이용하여 전처리된 Lanczos 방법을 적용해 사후 분포에서 표본을 효율적으로 생성한다.
• 근사된 사후 공분산을 사용하여 사전 및 사후 분포 간 Kullback-Leibler 발산과 같은 불확실성 지표를 계산한다.
• Krylov 과정의 잔차 노름과 수렴 특성에 기반하여 사후 공분산 근사에 대한 이론적 오차 한계를 유도한다.
• 행렬 분해를 전면적으로 피하고 반복적·행렬 기반 없는 연산에 의존하여 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 추가 계산 비용 없이 Krylov 부분공간 방법을 사용하여 대규모 베이지안 역문제에서 사후 공분산 행렬을 근사할 수 있는가?
• RQ2 Krylov 반복값에서 유도된 사후 공분산 근사는 얼마나 정확한가? 그리고 어떤 이론적 보장이 가능한가?
• RQ3 전처리된 Lanczos 방법을 사용하여 낮은 질서 공분산 근사를 기반으로 효율적으로 사후 표본을 생성할 수 있는가?
• RQ4 제안된 불확실성 정량화 프레임워크의 계산 및 수치적 성능은 실질적인 대규모 응용에서 어떻게 나타나는가?
• RQ5 근사된 사후 공분산을 사용할 때 Kullback-Leibler 발산과 같은 불확실성 측정치는 어떻게 행동하는가?

주요 결과

• Krylov 기반 해 추정치가 계산된 후, 일반화된 Golub-Kahan 이단형분해의 구조를 활용하여 추가 비용 없이 사후 공분산 행렬을 근사할 수 있다.
• Krylov 과정의 수렴성과 잔차 노름에 기반하여 사후 공분산 근사에 대한 이론적 오차 한계가 도출되었다.
• 전처리된 Lanczos 방법을 통해 낮은 질서 공분산 근사를 기반으로 효율적인 사후 표본 추출이 가능하여 계산 비용을 크게 감소시켰다.
• 근사된 공분산을 사용하여 사전 및 사후 분포 간 Kullback-Leibler 발산을 정확하게 계산할 수 있었으며, 정보 획득의 정량적 측정치를 제공하였다.
• 단층촬영에서의 수치 실험을 통해 방법의 확장성과 정확성이 확인되었으며, 대규모 환경에서 효과적인 불확실성 정량화를 수행함을 입증하였다.
• 미지수의 수가 매우 많을 때에도 높은 정확도를 유지하여 영상 및 지구물리학 분야의 실제 역문제에 적합함을 입증하였다.