[論文レビュー] Quantifying uncertainties in Large-scale Bayesian linear inverse problems using Krylov subspace methods

Arvind K. Saibaba, Julianne Chung+1 more|arXiv (Cornell University)|Aug 27, 2018

Gaussian Processes and Bayesian Inference被引用数 1

ひとこと要約

本稿では、大規模なベイズ線形逆問題における事後分散共分散行列の近似を、特に一般化されたゴルーブ＝カーン双対化を用いたKrylov部分空間法を提案する。既存のKrylov反復を活用することで、低コストな不確実性評価と事後分布からのサンプリングが可能となり、プリコンディショニング付きランチョス法を用いる。理論的誤差境界が提示され、トモグラフィー画像再構成において有効性が実証されている。

ABSTRACT

For linear inverse problems with a large number of unknown parameters, uncertainty quantification remains a challenging task. In this work, we use Krylov subspace methods to approximate the posterior covariance matrix and describe efficient methods for exploring the posterior distribution. Assuming that Krylov methods (e.g., based on the generalized Golub-Kahan bidiagonalization) have been used to compute an estimate of the solution, we get an approximation of the posterior covariance matrix for `free.' We provide theoretical results that quantify the accuracy of the approximation and of the resulting posterior distribution. Then, we describe efficient methods that use the approximation to compute measures of uncertainty, including the Kullback-Liebler divergence. We present two methods that use preconditioned Lanczos methods to efficiently generate samples from the posterior distribution. Numerical examples from tomography demonstrate the effectiveness of the described approaches.

研究の動機と目的

• 多くの未知数を含む大規模線形逆問題における不確実性評価の計算的課題に対処すること。
• Krylovに基づく解推定が計算された後、追加コストなしに事後分散共分散行列の近似を実現する手法を開発すること。
• プリコンディショニング付きランチョス法を用いて、低ランク共分散近似を活用し、事後分布からの効率的サンプリングを可能にすること。
• Krylov過程の残差ノルムと収束に基づき、事後分散共分散行列の近似に対する理論的誤差境界を提供すること。
• 現実的なトモグラフィー逆問題に本手法を適用し、スケーラビリティと精度を検証すること。

提案手法

• 一般化されたゴルーブ＝カーン双対化を用いて、システム行列とデータからKrylov部分空間を生成し、事後分散共分散行列の低ランク近似を可能にする。
• 解推定の過程で既に計算済みのKrylov反復を活用し、事後分散共分散行列の近似を暗黙的に構築する。
• プリコンディショニング付きランチョス法を適用し、共分散近似の低ランク構造を活かして、事後分布からのサンプリングを効率的に実行する。
• 近似された事後分散共分散行列を用いて、事前分布と事後分布の間のKullback-Leibler情報量の差を含む不確実性指標を計算する。
• Krylov過程の収束と残差ノルムに基づき、事後分散共分散行列の近似に対する理論的誤差境界を導出する。
• フル行列分解を避けて、反復的かつ行列フリーな演算に依存することで、計算効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 Krylov部分空間法を用いることで、大規模なベイズ逆問題において追加コストなしに事後分散共分散行列を近似できるか？
• RQ2 Krylov反復から得られる事後分散共分散行列の近似はどの程度正確か？また、どのような理論的保証が可能か？
• RQ3 プリコンディショニング付きランチョス法は、低ランク共分散近似を用いて効率的に事後サンプルを生成できるか？
• RQ4 本手法の不確実性評価フレームワークは、現実的大規模応用において計算的・数値的性能に優れているか？
• RQ5 近似された事後分散共分散行列を用いて計算される不確実性指標（例：Kullback-Leibler情報量）は、どのように振る舞うか？

主な発見

• Krylovに基づく解推定が計算された後、一般化されたゴルーブ＝カーン双対化の構造を活用することで、追加コストなしに事後分散共分散行列を近似可能である。
• Krylov過程の収束と残差ノルムに基づき、事後分散共分散行列の近似に対する理論的誤差境界が導出された。
• プリコンディショニング付きランチョス法を用いることで、低ランク共分散近似を活用した効率的な事後サンプリングが実現され、計算コストが著しく削減された。
• 近似共分散行列を用いることで、事前分布と事後分布の間のKullback-Leibler情報量の差を正確に計算でき、情報量の増加を定量的指標として得られた。
• トモグラフィーにおける数値実験により、本手法のスケーラビリティと精度が確認され、大規模な状況下での有効な不確実性評価が実現された。
• 未知数の数が非常に多くても高い精度を維持するため、画像処理や地球物理学分野における実世界の逆問題に適していることが示された。