[論文レビュー] emcee: The MCMC Hammer

Daniel Foreman-Mackey, David W. Hogg+2 more|Max Planck Institute for Plasma Physics|Feb 16, 2012

Markov Chains and Monte Carlo Methods被引用数 11

ひとこと要約

この論文は、多次元空間における従来のMCMC手法がN次元空間で約N²のパラメータを必要とするのに対し、最小限の調整（1–2パラメータ）で済む、マルコフ連鎖モンテカルロ（MCMC）のアフィン不変型アンサンブルサンプラーであるemceeのPython実装を紹介する。このアルゴリズムは、自己相関時間が低く、CPUコア間の並列処理を活用でき、天文学・宇宙論分野で一般的な計算コストの高い高次元問題におけるスケーラブルで頑健なベイズ推論を実現する。

ABSTRACT

We introduce a stable, well tested Python implementation of the affine-invariant ensemble sampler for Markov chain Monte Carlo (MCMC) proposed by Goodman & Weare (2010). The code is open source and has already been used in several published projects in the astrophysics literature. The algorithm behind emcee has several advantages over traditional MCMC sampling methods and it has excellent performance as measured by the autocorrelation time (or function calls per independent sample). One major advantage of the algorithm is that it requires hand-tuning of only 1 or 2 parameters compared to $\sim N^2$ for a traditional algorithm in an N-dimensional parameter space. In this document, we describe the algorithm and the details of our implementation and API. Exploiting the parallelism of the ensemble method, emcee permits any user to take advantage of multiple CPU cores without extra effort. The code is available online at http://dan.iel.fm/emcee under the MIT License.

研究の動機と目的

• 高次元パrameter空間におけるユーザーによる調整を最小限に抑える、頑健で使いやすいMCMCサンプラーの開発。
• メトロポリス＝ハスティングス法のような従来のMCMC手法の非効率性と感度の問題を解決し、N次元空間で約N²のハイパーパrameterを調整する必要がある状況を改善すること。
• 尤度評価が高コストなモデル、たとえば宇宙論や天文学分野のモデルにおいて、効率的なサンプリングを可能にすること。
• アンサンブル法における並列性を活用し、追加のコーディング作業なしに複数のCPUコアを自然に活用できるようにすること。
• 科学的データ解析、特にノイズパラメータの周辺化に広く応用可能な安定したオープンソースツールの提供。

提案手法

• 複数のワーカーがアンサンブル内で現在の位置を持つことで、新しい状態を提案するアフィン不変型アンサンブルサンプラーを採用。
• 2つのランダムに選択されたワーカー間のベクトルをスケーリング要因として用いる「ストレッチ移動」を採用し、パrameter空間のアフィン変換に対して不変性を確保。
• アンサンブルの幾何構造を用いて提案分布を動的に調整することで、共分散行列の手動チューニングの必要性を排除。
• 複数のワーカーを並列にスキャンし、後方分布の局所的幾何構造に自動的に適応。
• Pythonとnumpyを基盤とした実装であり、自己相関時間と受容率の自動計算をサポートし、収束をガイド。
• MITライセンスの下でオープンソースであり、収束診断やサンプリング品質の評価を補助するツールを含む。

実験結果

リサーチクエスチョン

• RQ1 高次元パrameter空間において、MCMCサンプリングをより効率的かつユーザーがチューニングするパラメータに依存しなくする方法は何か？
• RQ2 膨大なハイパーパrameterチューニングを必要とせずに、高い性能と低い自己相関時間を持つMCMCアルゴリズムは可能か？
• RQ3 アンサンブル法における並列性を、計算コストの高いモデルのサンプリング効率向上にどの程度活用できるか？
• RQ4 収束速度と頑健性の観点から、アフィン不変型アンサンブルサンプラーは従来のメトロポリス＝ハスティングス法と比べてどのように差がつくか？
• RQ5 マルチモーダルまたは制約付きパrameter空間において、アンサンブルサンプラーが失敗する状況はどのようなもので、その制限は何か？

主な発見

• emceeアルゴリズムは次元数にかかわらず1–2パラメータのチューニングしか必要とせず、従来のMCMC手法が約N²のパラメータを必要とするのとは対照的である。
• 自己相関時間が低く、独立サンプルを得るために必要な関数評価回数が少なく、著しく効率的である。
• 異方的かつマルチモーダルな後方分布に対しても頑健であるが、ワーカーが別々のモードに閉じ込められると性能が低下する。
• 複数のワーカーの使用により、追加のコーディング作業なしに自然な並列処理が可能になる。
• バーンイン段階のスケーリングはワーカー数に依存するが、最低限の数（例：数十）を確保することで、数個の自己相関時間以内に良好な受容率と収束が達成される。
• ノイズパラメータの周辺化において、サンプリング後にノイズパラメータを単に破棄するだけで、周辺化された後方分布からの直接サンプルが得られる。