[論文レビュー] Elliptical slice sampling

Iain Murray, Ryan P. Adams+1 more|arXiv (Cornell University)|Dec 31, 2009

Gaussian Processes and Bayesian Inference参考文献 9被引用数 315

ひとこと要約

この論文は、多変量ガウス事前分布をもつモデルにおける事後分布からのサンプリングのための、新しいマルコフ連鎖モンテカルロ法である楕円型スライスサンプリングを提案する。この手法は、楕円の幾何構造を活用することで、パラメータを必要としない効率的なサンプリングを可能にする。提案手法は、楕円上でのスライスサンプリング手順に再定式化されたプロポーザル機構を用いることで、手動によるステップサイズのチューニングを必要とせず、チューニング済みのメトロポリス＝ハスティングス法と同等の性能を達成する。

ABSTRACT

Many probabilistic models introduce strong dependencies between variables using a latent multivariate Gaussian distribution or a Gaussian process. We present a new Markov chain Monte Carlo algorithm for performing inference in models with multivariate Gaussian priors. Its key properties are: 1) it has simple, generic code applicable to many models, 2) it has no free parameters, 3) it works well for a variety of Gaussian process based models. These properties make our method ideal for use while model building, removing the need to spend time deriving and tuning updates for more complex algorithms.

研究の動機と目的

• 多変量ガウス事前分布をもつモデル向けに、手動でのチューニングが不要な汎用的で頑健なMCMCアルゴリズムの開発を目的とする。
• 相関のある潜在変数による強い依存性を示すモデルにおいて、ギブスサンプリングの混合が悪い問題を解決することを目的とする。
• MCMCサンプリングにおける自由パラメータの必要性を排除しつつ、サンプリング効率を維持または向上させることを目的とする。
• ガウス過程ベースのモデルにおいて、既存のMCMCサンプラー（例えばギブスやメトロポリス＝ハスティングス）の即時置き換えを可能にする。

提案手法

• この手法は、現在の状態と事前分布からの補助的サンプルを用いて定義される楕円に沿った移動として、プロポーザル分布を定式化する。
• スライスサンプリングの原則を用いて、楕円に沿ったステップサイズを自動で適応させ、詳細バランスと正しい定常分布を保証する。
• アルゴリズムは、楕円上の条件付き分布からサンプリングする際に、許容可能な状態の区間（ブレケット）を維持し、反復的にそれを縮小する。
• 逆性や正しさの問題を回避するため、標準のスライスサンプリング技術を楕円上で使用できるように再パラメータライズationを導入する。
• 楕円のパラメータライズーションを拡張モデルにおける隠れ変数とみなすことにより、明示的なステップサイズパラメータを回避する。
• 低次元問題における混合を向上させるために制御変数を統合し、高相関設定下での性能を強化する。

実験結果

リサーチクエスチョン

• RQ1 多変量ガウス事前分布をもつモデル向けに、チューニング済みのメトロポリス＝ハスティングス法と同等またはそれを上回る性能を示す、自由パラメータをもたないMCMC手法を設計できるか？
• RQ2 ガウス事前分布の幾何構造をどのように活用すれば、標準のギブスやメトロポリス＝ハスティングスよりも効率的かつ頑健なサンプリング機構を構築できるか？
• RQ3 詳細バランスとマルコフ連鎖の正しさを保ちつつ、スライスサンプリングの原則を楕円多様体上で適応可能か？
• RQ4 ガウス過程モデルにおいて、楕円型スライスサンプリングと従来のMCMC手法との間で、計算コストとサンプリング効率のトレードオフはどのようなものか？
• RQ5 高次元設定下でのスケーリング特性は？ また、制御変数に基づくアプローチと比較して、どのような状況で本手法が優れているか？

主な発見

• 実世界のデータ、例えば鉱山の事故データやUSPSの0〜9の数字分類問題において、チューニング済みのメトロポリス＝ハスティングス法よりも、単位時間あたりの有効サンプル数が優れていた。
• 合成的な低次元回帰問題では、制御変数サンプリングが、楕円型スライスサンプリングを含むすべての手法を上回ったが、計算コストが高かった。
• 高次元設定下では、制御変数サンプリングは収束しなかったが、楕円型スライスサンプリングは安定的かつ効果的であった。
• 自由パラメータを一切必要とせず、最適なステップサイズチューニングを施した標準的なメトロポリス＝ハスティングス法よりも、有効サンプル数の観点で優れていた（ただし、実行時間は長かった）。
• 有効サンプルレートは、線形ベースのスライスサンプリングよりも常に楕円型スライスサンプリングが高く、混合の良さが示された。
• 回帰、分類、時系列問題を含む多様なガウス過程ベースのモデルにおいて、最小限の実装作業で、本手法は頑健性を示した。