[論文レビュー] Fast Simulation of Hyperplane-Truncated Multivariate Normal Distributions

Yulai Cong, Bo Chen+1 more|arXiv (Cornell University)|Jul 16, 2016

Soil Geostatistics and Mapping参考文献 38被引用数 9

ひとこと要約

本稿では、超平面の積集合上に切断された多変量正規（MVN）分布の高速かつ正確なシミュレーションアルゴリズムを提示する。射影に基づくサンプリングを活用することで、高価なコレスキー分解を回避する。この手法は、構造化された共分散または精度行列をもつMVN分布へ一般化可能であり、特に正定値行列に低ランク対称行列を加算または減算した形に分解可能な場合に、高次元において線形計算複雑度を達成する。

ABSTRACT

We introduce a fast and easy-to-implement simulation algorithm for a multivariate normal distribution truncated on the intersection of a set of hyperplanes, and further generalize it to efficiently simulate random variables from a multivariate normal distribution whose covariance (precision) matrix can be decomposed as a positive-definite matrix minus (plus) a low-rank symmetric matrix. Example results illustrate the correctness and efficiency of the proposed simulation algorithms.

研究の動機と目的

• 超平面の積集合上に切断された多変量正規分布に対する高速かつ正確なシミュレーションアルゴリズムの開発。
• 特に高次元設定において顕著な計算非効率性を示す従来の手法（例：コレスキー分解）の問題を解決すること。
• 超平面切断アルゴリズムを一般化し、構造化された精度行列または共分散行列をもつMVN分布からの効率的サンプリングを可能とすること。
• 高次元ベイズモデル（例：縮約事前分布を用いた高次元回帰）におけるスケーラブルな事後分布サンプリングを可能とすること。
• 特に $p \gg n$ の状況において、ギブスサンプリングやハミルトニアンモンテカルロに対する実用的な代替手法を提供すること。

提案手法

• 標準MVN変量を直接超平面の交差 $\mathbf{G}\mathbf{x} = \mathbf{r}$ に射影する射影ベースのサンプリング手法を提案し、中間変数を回避する。
• 線形制約下でのMVNの条件付き分布を用いて、切断された変量の同時分布を導出する。
• 拡張された高次元MVNの共分散行列におけるブロック対角構造を活用して、シミュレーションを簡略化する。
• 超平面切断アルゴリズムを、既知の逆行列に低ランク更新を加えた精度行列をもつMVN分布からのシミュレーションに適用する。
• 共分散行列が $\boldsymbol{\Sigma} = \mathbf{B}^{-1} + \mathbf{U}\mathbf{U}^T$ の形に書けるMVN分布（$\mathbf{B}$ は正則で、$\mathbf{U}$ は低ランク）に対しても一般化する。
• 2段階のサンプリングスキームを実装する：まずブロック対角MVNからサンプリングし、その後線形方程式系を解いて最終的な切断された変量を取得する。

実験結果

リサーチクエスチョン

• RQ1 コレスキー分解やギブスサンプリングよりも、超平面の交差上に切断された多変量正規分布からのシミュレーションをより効率的に行うことは可能か？
• RQ2 精度行列または共分散行列における低ランク構造をどのように活用すれば、高次元モデルにおけるMVNシミュレーションを高速化できるか？
• RQ3 提案されたアルゴリズムの計算複雑度は、高次元設定における標準的なコレスキーベースの手法と比較してどの程度か？
• RQ4 高次元回帰のような状況では、既存手法と比較して、提案手法が著しい性能向上をもたらすか？
• RQ5 超平面切断アルゴリズムは、構造化された精度行列をもつMVN分布からの効率的サンプリングに一般化可能か？

主な発見

• 低ランク更新のサイズが固定である場合、次元 $p$ に対して線形計算複雑度 $O(p)$ を達成し、標準的なコレスキー分解の $O(p^3)$ の複雑度を著しく上回る。
• シミュレーション結果から、超平面切断フレームワークを用いたアルゴリズム4は、$p \gg n$ の場合、特に高次元回帰設定において、ナイーブなコレスキーベースのサンプリングよりも顕著に高速であることが示された。
• 本手法により、精度行列が対角行列に低ランク更新を加えた形の高次元ベイズ線形モデル（例：ベイズラッソやホースシューモデル）における効率的事後分布サンプリングが可能となった。
• アルゴリズムは正確であり、高次元の制約付きMVN問題においてギブスサンプリングやハミルトニアンモンテカルロの混合問題や高コストを回避する。
• 実験的評価により、$k_2 < k_1$ で $σ_{11}$ が高速サンプリングに適した特別な構造をもつ場合を含め、さまざまな設定において正しさと効率性が維持されていることが確認された。
• 本手法は、Bhattacharyaら（2016）の手法を一般化し、$ω = \mathbf{I}_n$ の場合にその効率的サンプラーが特別な場合として回復される。