[論文レビュー] Scalable iterative methods for sampling from massive Gaussian random vectors

Daniel Simpson, Ian Turner+2 more|arXiv (Cornell University)|Dec 5, 2013

Bayesian Methods and Mixture Models参考文献 51被引用数 6

ひとこと要約

本稿では、次元に依存しない収束を達成する大規模なガウスマルコフランダムフィールド（GMRF）からのサンプリングにスケーラブルな反復的Krylov部分空間法を提案する。構造的精度行列（特に（ブロック）巡回形式を近似するもの）を活用することで、O(n log n)のサンプリング複雑度を達成し、大規模な空間的および時空間的モデルにおける効率的で高精度の推論を可能にする。

ABSTRACT

Sampling from Gaussian Markov random fields (GMRFs), that is multivariate Gaussian ran- dom vectors that are parameterised by the inverse of their covariance matrix, is a fundamental problem in computational statistics. In this paper, we show how we can exploit arbitrarily accu- rate approximations to a GMRF to speed up Krylov subspace sampling methods. We also show that these methods can be used when computing the normalising constant of a large multivariate Gaussian distribution, which is needed for both any likelihood-based inference method. The method we derive is also applicable to other structured Gaussian random vectors and, in particu- lar, we show that when the precision matrix is a perturbation of a (block) circulant matrix, it is still possible to derive O(n log n) sampling schemes.

研究の動機と目的

• 高次元ガウスランダムベクトルからのサンプリングにおける計算ボトル neck を解決すること、特に大規模な空間的および時空間的モデルにおけるベイズ推論において。
• 大規模なGMRFにおける標準的なコレスキー分解のO(n³)の計算コストとO(n²)のメモリ要件を克服すること。
• 行列を明示的に形成・保存せず、O(n)のストレージを要する反復的サンプリング手法を開発し、適応的誤差制御を用いて任意の精度を達成すること。
• （ブロック）巡回やトーペリッツ形式を含む精度行列の構造を活用することで、次元に依存しないサンプリングを実現すること。
• Krylov部分空間法の適用範囲を、正規化定数の計算および大規模モデルにおけるスケーラブルなMCMC推論のサポートに拡張すること。

提案手法

• 精度行列Qを明示的に形成・保存せずに、N(0, Q⁻¹)からの近似サンプルを計算するためにKrylov部分空間法を用いる。
• 標準正規ベクトルzに対して、Q⁻¹/²zのKrylov部分空間近似を構築するためにランチョス法を適用する。
• 特に（ブロック）巡回行列を含むQの構造的近似を活用し、高速フーリエ変換（FFT）に基づく行列ベクトル積を実現する。
• 特に巡回行列の摂動に対して、O(n log n)の複雑度を保ちながら、前処理戦略を導入する。
• ハッチンソン推定法を用いて、トレース推定によりガウス分布の正規化定数を計算する。
• MCMCスキームにサンプリング手法を統合し、近似誤差が制御された不正確なサンプラーが、真のマルコフ連鎖と結合されることで、漸近的に正確な結果を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 Krylov部分空間法を加速することで、大規模なGMRFからのサンプリングに対して次元に依存しない収束を達成できるか？
• RQ2 （ブロック）巡回やトーペリッツ形式を含む精度行列の構造的近似をどのように活用し、サンプリング複雑度をO(n log n)に低減できるか？
• RQ3 誤差が有界な不正確なサンプリング手法が、ベイズモデルにおける有効なMCMC推論をもたらすまでの程度はどの程度か？
• RQ4 反復的Krylovベースの推定法を用いて、高次元ガウス分布の正規化定数を効率的に計算できるか？
• RQ5 どのような前処理戦略が、問題サイズに依存しない収束レートを維持しながら、スケーラブルかつ行列フリーなサンプリングを可能にするか？

主な発見

• 精度行列が（ブロック）巡回行列の摂動である場合、提案手法はO(n log n)のサンプリング複雑度を達成する。
• 適応的ステップ制御を用いたKrylov部分空間サンプリングは、反復的ソルバーにおける標準的な幾何的収束よりも顕著に優れた超幾何的収束を実現する。
• 誤差が制御された不正確なMCMCスキームは、近似誤差が通常モンテカルロ誤差に埋もれることから、漸近的に正確なまま保たれる。
• Krylovフレームワーク内にハッチンソン推定法を適用することで、大規模な多変量ガウス分布の正規化定数を効率的に計算可能である。
• （ブロック）巡回近似に基づく前処理戦略により、直接因子分解がメモリ制約により不可能な問題に対しても、スケーリングが可能である。
• このフレームワークは一般の構造的ガウスベクトルをサポートでき、トーペリッツおよびバンド付きブロックトーペリッツ行列への拡張も可能であるが、計算コストが増加する。