[論文レビュー] Slice Sampling with Adaptive Multivariate Steps: The Shrinking-Rank Method

Madeleine B. Thompson, Radford M. Neal|arXiv (Cornell University)|Nov 22, 2010

Bayesian Methods and Mixture Models参考文献 9被引用数 7

ひとこと要約

shrinking-rank 法は、棄却点における対数密度の勾配に直交する提案部分空間を段階的に縮小することで、高い相関を持つ多次元分布における混合性能を向上させるスライスサンプリングアルゴリズムである。繰り返し繰り返し提案分布をスライスの最も長い軸に一致させるように refine することで、特に高次元かつ相関の強い設定において、適応メトロポリス法や t-walk よりも高速な収束と低い自己相関を達成する。

ABSTRACT

The shrinking rank method is a variation of slice sampling that is efficient at sampling from multivariate distributions with highly correlated parameters. It requires that the gradient of the log-density be computable. At each individual step, it approximates the current slice with a Gaussian occupying a shrinking-dimension subspace. The dimension of the approximation is shrunk orthogonally to the gradient at rejected proposals, since the gradients at points outside the current slice tend to point towards the slice. This causes the proposal distribution to converge rapidly to an estimate of the longest axis of the slice, resulting in states that are less correlated than those generated by related methods. After describing the method, we compare it to two other methods on several distributions and obtain favorable results.

研究の動機と目的

• パラメータが高次元かつ相関が強い場合に MCMC 法の混合が遅くなる問題に対処すること。
• ターゲット密度の局所的幾何構造を勾配情報を使って適応的に提案分布に組み込むスライスサンプリングの変種を開発すること。
• 標準的な適応的 MCMC 法が困難となる高次元かつ相関の強い分布におけるサンプリング効率を向上させること。
• 回転および平行移動に対して不変であり、スケールに対してもほぼ不変であることを保証することで、さまざまなパrameterizationに対して頑健性を高めること。
• 適応メトロポリス法や t-walk といった既存の適応的 MCMC 法の代替として、スケーラブルで頑健な手法を提供すること。

提案手法

• スライスサンプリングの crumb フレームワークを用い、crumb は現在の状態を中心とするガウス分布から抽出され、提案は以前の crumb に重み付けされた分布から抽出される。
• 初期の crumb と提案は、標準偏差 σc の球対称ガウス分布から抽出され、受理が得られなければ σc が適応的に小さくされる。
• 受理されなかった提案の後、棄却点における対数密度の勾配を、現在の部分空間 J の核空間に射影して、既存の制約に直交する方向を特定する。
• 射影された勾配と全勾配の間の角度が 60° を超える場合、正規化された射影勾配を新しい列として追加することで、部分空間 J を拡張し、提案をスライスの最も長い軸に一致させる。
• 提案分布は、すべての以前の crumb の精度行列の和に等しい精度行列を用いて更新され、詳細釣合の性質とスライス上の一様分布に対する不変性を保証する。
• 勾配に直交する部分空間に制限することで、提案空間の次元を動的に低下（ランクを縮小）させ、相関の強い空間における効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 勾配情報に基づいて提案部分空間を適応的に縮小するスライスサンプリング法が、高次元かつ相関の強い多次元分布において、より優れた混合性能を達成できるか。
• RQ2 さまざまな相関性と高次元ターゲットにおいて、shrinking-rank 法は適応メトロポリス法や t-walk と比較して、どの程度効率的かつ頑健であるか。
• RQ3 勾配がスライスに向かって信頼できる方向を示さない非対称分布では、この手法の性能がどの程度低下するか。
• RQ4 他の適応的 MCMC サンプラーと比較して、次元の増加に伴うスケーリング特性はどうなるか。
• RQ5 σc や θ といった調整パrameter が、収束性と自己相関時間に与える影響は何か。

主な発見

• 条件数 2800 の高次元相関付き多次元正規分布ターゲットにおいて、shrinking-rank 法は t-walk や適応メトロポリス法よりも、独立観測ごとの対数密度評価回数が著しく少ない。
• ドイツ信用 Bayesian ロジスティック回帰（25 パラメータ）では、shrinking-rank 法は適応メトロポリス法と同等の性能を示し、特に調整パrameter が適切に選ばれた場合、t-walk よりも優れている。
• 対数をとらないガウス過程回帰では、shrinking-rank 法は性能が劣るが、パラメータの対数変換を施すと劇的に性能が向上し、非楕円的ターゲット形状への感受性が示された。
• 高次元ガンマ分布（2,1）ターゲット（次元 2, 20, 200）において、shrinking-rank 法は次元に対してほぼ線形にスケーリングされ、次元が 10 倍に増加しても関数評価回数がおおよそ 10 倍程度に増加する。これは適応メトロポリス法と同程度のスケーリング特性である。
• t-walk は高次元設定で有効にスケーリングできず、200 次元ガンマターゲットでは著しく性能が劣るが、shrinking-rank 法と適応メトロポリス法は、良好な効率を維持している。
• この手法は回転および平行移動に対して不変であり、ほぼスケール不変であるため、再パラメータライゼーションに対して頑健であり、適応メトロポリスとは異なり、各反復で局所的に適応する。