[論文レビュー] How well does your sampler really work?

Ryan Turner, Brady Neal|arXiv (Cornell University)|Dec 16, 2017

Machine Learning and Data Classification参考文献 19被引用数 4

ひとこと要約

この論文は、実際のデータセットとモデルから得られる実世界の事後分布を用いて、MCMCサンプラーの評価を行うデータ駆動型ベンチマークを導入する。具体的には、ニューラルネットワークを含む柔軟な密度モデルを訓練して、現実的で再現性のあるベンチマーク分布を生成する。主な貢献は、サンプラーの真の有効サンプルサイズ（ESS）と効率性を体系的かつスケーラブルに評価するフレームワークを提供することであり、NUTSとHMCが最も高い性能を示すことが明らかになった。一方、ESEなどの診断指標はしばしば楽観的バイアスを示している。

ABSTRACT

We present a new data-driven benchmark system to evaluate the performance of new MCMC samplers. Taking inspiration from the COCO benchmark in optimization, we view this task as having critical importance to machine learning and statistics given the rate at which new samplers are proposed. The common hand-crafted examples to test new samplers are unsatisfactory; we take a meta-learning-like approach to generate benchmark examples from a large corpus of data sets and models. Surrogates of posteriors found in real problems are created using highly flexible density models including modern neural network based approaches. We provide new insights into the real effective sample size of various samplers per unit time and the estimation efficiency of the samplers per sample. Additionally, we provide a meta-analysis to assess the predictive utility of various MCMC diagnostics and perform a nonparametric regression to combine them.

研究の動機と目的

• 実世界のベイズ推論問題におけるMCMCサンプラーを評価するための信頼性が高く現実的なベンチマークの不足を解消すること。
• 手作業で作成されたトピック問題に代えて、実際のデータセットとモデルから抽出された代表的な事後分布を用いること。
• 時間単位あたりの実有効サンプルサイズ（RESS）と推定効率性を定量化すること。
• 一般的に用いられるMCMC診断指標（例：ESS、Gelman-Rubin、Geweke）の予測的有用性を評価し、非パラメトリック回帰を用いてそれらを統合して性能予測を向上させること。
• 最適化分野のCOCOに類似したスケーラブルで進化し続けるベンチマークシステムを確立すること。ただし、サンプリング手法に特化したものとする。

提案手法

• 実際のデータセット（例：MNIST）と実際のモデル（例：ロジスティック回帰）を組み合わせることで、「データセットのデータセット」と「モデルのジーン」を構築し、複雑な事後分布を生成する。
• 各実際の事後分布からNUTSを用いて長時間のマルコフ連鎖を生成し、補助密度モデルの学習データとする。
• NUTSの連鎖に柔軟で教師なしの密度モデル（例：混合ガウス分布、ノーマライジングフロー）を適合させ、ベンチマーク用の例示分布を生成する。
• 学習済みの補助モデルから正確なi.i.d.サンプリングを実行し、真の有効サンプルサイズ（ESS）を計算するとともに、サンプラーの性能を評価する。
• ガウス過程回帰を用いたメタアナリシスにより、MCMC診断指標（例：ESS、Gelman-Rubin、Geweke）を統合し、ESSのずれを予測する。
• 15分間の連鎖を用いて100例以上の実世界の例題でサンプラーを評価し、NEES（正規化されたESS）とRESS（相対的ESS）などの指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 一般的なMCMCサンプラーは、手作業で作成されたベンチマークとは対照的に、現実的でデータ由来の事後分布においてどの程度の性能を示すか？
• RQ2 標準的なMCMC診断指標（例：ESS、Gelman-Rubin）は、実際のサンプリング効率性とどの程度整合しているか？
• RQ3 複数の診断指標を統合するメタラーニングアプローチは、ESSのずれの予測を改善できるか？
• RQ4 異なるモデルやデータの複雑さのレベルにおいて、サンプラーの性能はどのように変化するか？
• RQ5 NUTS、HMC、emceeといった現代的なサンプラーは、実問題において真の有効サンプルサイズと推定効率性がどの程度か？

主な発見

• NUTSとHMCは、高次元設定下で0.115を超える正規化有効サンプルサイズ（NESS）と相対的ESS（RESS）を達成し、最も高い性能を示した。
• emceeは非常に二峰性の性能を示した：まれに高いNESSを達成するが、成功確率は38%にとどまり、62%のケースでNUTSに劣った。
• ESS診断は楽観的バイアスを示している：平均推定では実際のESSが推定値を下回るケースが55%、分散推定では68%、KS統計量では83%であった。
• ESS、Gelman-Rubin、次元数特徴を用いた非パラメトリック回帰（ガウス過程）は、ベースラインモデルと比較して、ESSずれの予測誤差を2.7%（MSE）と0.0096ナツ（log-loss）低減した。
• メタアナリシスからESSを除いた場合、予測性能が最も著しく低下したため、ESSはESSずれを予測する上で最も情報量が多い単一の診断指標であると示された。
• ベンチマークにより、ランダムウォークメトロポリスとemceeはしばしばRESS > 1を達成できず、これは1本の連鎖あたり1つの独立サンプル未満の機能的効率性を示していることが明らかになった。