[論文レビュー] Ensemble Slice Sampling: Parallel, black-box and gradient-free inference for correlated & multimodal distributions

Minas Karamanis, Florian Beutler|arXiv (Cornell University)|Feb 14, 2020

Bayesian Methods and Mixture Models参考文献 31被引用数 12

ひとこと要約

この論文では、初期長尺度を適応的にチューニングし、多数のウォークャーを用いて相関が強く複数モードを持つ分布からの効率的サンプリングを可能にする、並列的でブラックボックス的かつ勾配フリーなマルコフ連鎖モンテカルロ法、アンサンブルスライスサンプリング（ESS）を紹介する。ESSは、従来のMCMC手法に比べて、特に高次元で非線形に相関する、強くマルチモーダルなターゲット分布において、最大で1桁の高い効率性を達成する。

ABSTRACT

Slice Sampling has emerged as a powerful Markov Chain Monte Carlo algorithm that adapts to the characteristics of the target distribution with minimal hand-tuning. However, Slice Sampling's performance is highly sensitive to the user-specified initial length scale hyperparameter and the method generally struggles with poorly scaled or strongly correlated distributions. This paper introduces Ensemble Slice Sampling (ESS), a new class of algorithms that bypasses such difficulties by adaptively tuning the initial length scale and utilising an ensemble of parallel walkers in order to efficiently handle strong correlations between parameters. These affine-invariant algorithms are trivial to construct, require no hand-tuning, and can easily be implemented in parallel computing environments. Empirical tests show that Ensemble Slice Sampling can improve efficiency by more than an order of magnitude compared to conventional MCMC methods on a broad range of highly correlated target distributions. In cases of strongly multimodal target distributions, Ensemble Slice Sampling can sample efficiently even in high dimensions. We argue that the parallel, black-box and gradient-free nature of the method renders it ideal for use in scientific fields such as physics, astrophysics and cosmology which are dominated by a wide variety of computationally expensive and non-differentiable models.

研究の動機と目的

• 複雑で計算コストの高いモデルに対して、ハイパーパrameterの手動チューニングを一切必要としないブラックボックスMCMC手法の開発。
• 従来のスライスサンプリングが初期長尺度ハイパーパrameterに敏感であるという問題の解決。
• 特に高次元において相関が強く、マルチモーダルな分布におけるサンプリング効率の向上。
• 微分不能なモデルを扱う物理学・天文学分野などでの応用を想定し、MCMCサンプリングの並列化を可能にする。
• アフィン不変性を持ち、パラメータのスケーリングや相関に対してロバストな手法の構築。

提案手法

• ESSは、複数の並列ウォークャーを用い、確率的近似法により初期長尺度ハイパーパrameterを相互に適応的にチューニングする。
• アルゴリズムは、一様な補助変数を用いて水平スライスを定義し、区間を拡大・収縮することで有効なサンプルを特定するスライスサンプリングの更新を実行する。
• 局所的移動、ガウス移動、グローバル移動の複数の移動タイプを採用しており、特にグローバル移動によりマルチモーダル分布を大域的に飛び越えるジャンプが可能になる。
• この手法は本質的にアフィン不変であるため、線形相関やパラメータスケーリングに対してロバストである。
• ESSはアンサンブルを活用して提案分布を推定し、勾配情報なしで探索性を向上させる。
• アルゴリズムは並列実行を想定しており、各ウォークャーが個別にスライスからサンプリングを行うため、マルチコアコンピューティング環境を効率的に活用できる。

実験結果

リサーチクエスチョン

• RQ1 勾配フリーでブラックボックスなMCMC手法が、手動チューニングなしで相関が強く複数モードを持つ分布においても高い効率性を達成できるか。
• RQ2 有効サンプルサイズと自己相関の観点から、メトロポリスや標準スライスサンプリングと比較してESSはどの程度の性能を示すか。
• RQ3 高次元（50D）で強くマルチモーダルな分布、例えばガウス混合分布に対して、ESSはどの程度効率的にサンプリングできるか。
• RQ4 初期長尺度ハイパーパラメータをアンサンブルベースで適応的にチューニングすることで、固定値や手動チューニングと比較して収束性や混合性が顕著に向上するか。
• RQ5 非線形に相関する分布において、AIES や DEMC といった最先端のアンサンブルMCMC手法を上回る性能をESSが示せるか。

主な発見

• 相関のある分布（AR(1) やファンネル）において、メトロポリスや標準スライスサンプリングと比較して、ESSはサンプリング効率を1桁以上向上させる。
• 相関のあるファンネル分布において、ESSは有効サンプル数/密度評価数の観点で、標準スライスサンプリングを1桁の差で上回る。
• リング分布やガウスシェルといった非線形に相関する分布において、ESSはAIES や DEMC に比べて1〜2桁の高い効率性を示す。
• 50次元のガウス混合モデルにおいて、ESSは唯一、モード間を信頼性高くサンプリングできるのに対し、他の手法は収束に失敗する。
• 実世界の階層的ガウス過程回帰タスクにおいて、ESSはAIES や DEMC に比べて1〜2桁の高い効率性を達成する。
• ベイズオブジェクト検出問題において、ESSはAIES や DEMC よりも高い精度を達成し、複雑な実世界のシナリオにおいてもロバストであることを示した。