[論文レビュー] Slice Sampling

Radford M. Neal|arXiv (Cornell University)|Sep 7, 2000

Bayesian Methods and Mixture Models被引用数 1,178

ひとこと要約

この論文は、密度曲線の下の領域から一様にサンプリングすることで、一変量および多変量分布から適応的にサンプリングするマルコフ連鎖モンテカルロ法であるスライスサンプリングを導入する。スライス内で縦方向と横方向を交互にサンプリングすることで、手動でのチューニングが不要であり、ステップサイズの適応的選択とランダムウォーク行動の低減により、多くの場合でギブス法やメトロポリス法を凌駆する。

ABSTRACT

Markov chain sampling methods that automatically adapt to characteristics of the distribution being sampled can be constructed by exploiting the principle that one can sample from a distribution by sampling uniformly from the region under the plot of its density function. A Markov chain that converges to this uniform distribution can be constructed by alternating uniform sampling in the vertical direction with uniform sampling from the horizontal `slice' defined by the current vertical position, or more generally, with some update that leaves the uniform distribution over this slice invariant. Variations on such `slice sampling' methods are easily implemented for univariate distributions, and can be used to sample from a multivariate distribution by updating each variable in turn. This approach is often easier to implement than Gibbs sampling, and more efficient than simple Metropolis updates, due to the ability of slice sampling to adaptively choose the magnitude of changes made. It is therefore attractive for routine and automated use. Slice sampling methods that update all variables simultaneously are also possible. These methods can adaptively choose the magnitudes of changes made to each variable, based on the local properties of the density function. More ambitiously, such methods could potentially allow the sampling to adapt to dependencies between variables by constructing local quadratic approximations. Another approach is to improve sampling efficiency by suppressing random walks. This can be done using `overrelaxed' versions of univariate slice sampling procedures, or by using `reflective' multivariate slice sampling methods, which bounce off the edges of the slice.

研究の動機と目的

• 提案分布の手動チューニングが不要な自己適応的MCMCサンプリング手法の開発。
• メトロポリス法やギブスサンプリングなどの標準的MCMC手法におけるランダムウォーク行動の非効率性の解消。
• 局所的な密度特性に基づくステップサイズの自動適応による収束性と混合性能の向上。
• 局所近似を用いて変数を逐次的または同時に更新することで、多変量設定への拡張。
• アンチシティックな動きを導入するオーバーリラクストドおよびリフレクティブ変種を用いて、ランダムウォーク行動の低減によるサンプリング効率の向上。

提案手法

• 現在の密度値によって定義されるスライス内で、縦方向と横方向の両方の一様サンプリングを交互に実行することで、密度関数の下の領域から一様にサンプリングする。
• スライス上の一様分布に収束するマルコフ連鎖を構築し、詳細釣合の法則と不変性を保証する。
• 1変数スライスサンプリングを基本として、他の変数を条件付きに固定しながら1変数ずつ更新する。
• 局所二次近似を用いて変数間の依存関係を捉えることで、すべての変数を同時に更新する多変量スライスサンプリングを実現する。
• アンチシティックな動きを導入することで、1変数更新におけるランダムウォーク行動を低減するオーバーリラクストド変換を適用する。
• 境界面に跳ね返る形でサンプリングを行うリフレクティブスライスサンプリングを多変量設定に実装し、探索性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 局所的な密度の幾何構造を活用することで、手動チューニングが不要なステップサイズの自動適応が可能なサンプリング手法を設計できるか？
• RQ2 スライスサンプリングを多変量分布に拡張する際、効率性と収束性を維持する方法は何か？
• RQ3 オーバーリラクストドおよびリフレクティブ変種は、スライスサンプリングにおけるランダムウォーク行動をどの程度低減できるか？
• RQ4 多変量スライスサンプリングにおける局所二次近似は、変数間の依存関係を効果的にモデル化でき、混合性能を向上させられるか？
• RQ5 実際の応用において、スライスサンプリングはギブス法やメトロポリス＝ハスティングス法に比べてどの程度効率的で頑健か？

主な発見

• スライスサンプリングは、ターゲット密度の幾何構造を活用することで、ステップサイズの自動適応を実現し、手動チューニングの必要性を排除する。
• 標準的なメトロポリス更新を凌駆し、ステップサイズの適応的選択のおかげで、ギブスサンプリングよりも多くの場合で効率的である。
• オーバーリラクストドおよびリフレクティブ変種は、ランダムウォーク行動を顕著に低減し、混合性能と収束速度を向上させる。
• 同時に更新する多変量スライスサンプリングは、局所二次近似を用いて局所的依存関係に適応できる。
• 逐次的および同時更新戦略は、一変量および多変量の両方のターゲットに対して柔軟かつ効率的なサンプリングを提供する。
• 本手法は、頑健性と実装の容易さのおかげで、日常的かつ自動化されたベイズ推論に適している。