[論文レビュー] Bayesian optimization for adaptive MCMC

Nimalan Mahendran|arXiv (Cornell University)|Jan 1, 2011

Machine Learning and Algorithms参考文献 35被引用数 3

ひとこと要約

本稿では、複雑で制約付き、離散的かつ密に接続された確率的グラフィカルモデルにおける提案分布パラメータの自動チューニングを可能にする、ベイジアン最適化を用いた新規な適応的マルコフ連鎖モンテカルロ手法、ベイジアン最適化付きMCMCを提案する。探索と活用のバランスを取ることで、微分可能でない目的関数を必要とせずに、関数評価回数を削減し、熟練者によるチューニング性能と同等またはそれを上回る性能を達成する。

ABSTRACT

A new randomized strategy for adaptive Markov chain Monte Carlo (MCMC) using Bayesian optimization, called Bayesian-optimized MCMC, is proposed. This approach can handle non-differentiable objective functions and trades off exploration and exploitation to reduce the number of function evaluations. Bayesian-optimized MCMC is applied to the complex setting of sampling from constrained, discrete and densely connected probabilistic graphical models where, for each variation of the problem, one needs to adjust the parameters of the proposal mechanism automatically to ensure efficient mixing of the Markov chains. It is found that Bayesian-optimized MCMC is able to match or surpass manual tuning of the proposal mechanism by a domain expert.

研究の動機と目的

• 制約付きで離散的な変数を含む複雑な確率的モデルにおける、適応的MCMCの自動パrameterチューニングの課題に対処すること。
• 高次元かつ微分不能な設定における、効率的なマルコフ連鎖の混合を達成するために必要な高価な関数評価回数を削減すること。
• 勾配情報に依存せずに、提案分布の適応における探索と活用のバランスを取る手法を開発すること。
• 複雑なサンプリングタスクにおいて、ドメインの熟練者による手動チューニングと同等またはそれ以上の性能を達成すること。

提案手法

• 本手法は、マルコフ連鎖モンテカルロアルゴリズムにおける提案分布パラメータの適応的チューニングを、ベイジアン最適化で導く。
• 目的関数（例：混合品質）を確率的ガウス過程としてモデル化し、パrameter空間における探索をガイドする。
• 獲得関数が探索と活用のバランスを取って、関数評価回数を最小限に抑える次回のパrameter設定を選択する。
• 繰り返し適用され、各評価後に目的関数に関する事後分布が更新される。
• 微分不能で複雑な目的関数を扱えるため、離散的かつ制約付きのグラフィカルモデルに適している。
• 高次元状態空間における収束性と混合効率を向上させるために、提案メカニズムを動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン最適化は、微分不能で離散的かつ制約付きの確率的モデルにおけるMCMC提案分布のチューニングに効果的に機能するか？
• RQ2 混合効率および収束性の観点から、ベイジアン最適化付きMCMCは熟練者チューニングのMCMCと比べてどの程度の性能を示すか？
• RQ3 ベイジアン最適化は、MCMCにおける有効な適応に必要な関数評価回数をどの程度削減できるか？
• RQ4 本手法は、多様で複雑なグラフィカルモデル構造においても頑健性を維持するか？

主な発見

• ベイジアン最適化付きMCMCは、複雑なグラフィカルモデルにおいて、ドメイン熟練者による手動チューニングと同等またはそれ以上の混合性能を達成する。
• 探索と活用の知的なバランスを取ることで、有効なパrameter適応に必要な関数評価回数を顕著に削減する。
• 離散的かつ制約付きの確率的モデルに一般的に見られる微分不能で複雑な目的関数を効果的に処理する。
• 密に接続されたグラフィカルモデルのさまざまな構成において、頑健な性能を示す。
• ガウス過程モデルの使用により、限られた評価回数で高次元パrameter空間における効率的な探索が可能になる。
• 適応的チューニングプロセスにより、勾配情報が不要なままにマルコフ連鎖の収束性と混合効率が向上する。