[論文レビュー] Meta-Learning MCMC Proposals

Tongzhou Wang, Yi Wu+2 more|arXiv (Cornell University)|Aug 21, 2017

Machine Learning and Data Classification被引用数 23

ひとこと要約

本論文では、確率的モデル向けに効果的なメトロポリス・モンテカルロ（MCMC）提案分布を自動で学習するメタラーニングフレームワークを提案する。モデル構造とデータに基づいて提案分布を適応させるためのニューラルネットワークを訓練することで、混合速度の向上と手動チューニングの削減を実現し、長距離依存性を有する複雑なモデルにおいて、標準的なMCMC手法を上回る性能を発揮する。

ABSTRACT

Effective implementations of sampling-based probabilistic inference often require manually constructed, model-specific proposals. Inspired by recent progresses in meta-learning for training learning agents that can generalize to unseen environments, we propose a meta-learning approach to building effective and generalizable MCMC proposals. We parametrize the proposal as a neural network to provide fast approximations to block Gibbs conditionals. The learned neural proposals generalize to occurrences of common structural motifs across different models, allowing for the construction of a library of learned inference primitives that can accelerate inference on unseen models with no model-specific training required. We explore several applications including open-universe Gaussian mixture models, in which our learned proposals outperform a hand-tuned sampler, and a real-world named entity recognition task, in which our sampler yields higher final F1 scores than classical single-site Gibbs sampling.

研究の動機と目的

• 長距離依存性やほぼ決定的な依存性を有する複雑な確率的モデル向けに、効率的なMCMC提案分布を設計する課題に対処すること。
• 時間のかかるかつモデル固有の手動で設計された提案分布への依存を減らすこと。
• 多様なモデルにわたって一般化可能な、再利用可能な提案分布の学習手法を構築すること。
• 高相関の事後分布を捉えるブロックごとの提案分布を学習することで、MCMC推論における混合速度の向上を実現すること。

提案手法

• メタラーニングを用いて、複数の関連する推論タスクから学習することで、MCMCの提案分布を予測するためのニューラルネットワークを訓練する。
• モデル構造と観測データに基づいて提案パラメータを適応させる二段階最適化目的関数を用い、モデル間での一般化を可能にする。
• モデルに依存しないメタラーニング（MAML）の原則を活用し、少数の勾配ステップで新しいモデルに素早く適応できる提案ネットワークの初期化を実現する。
• 提案ネットワークが潜在変数のブロック全体に対する結合提案を出力できるように設計し、高相関事後分布における混合性能の向上を図る。
• さまざまな確率的モデルの分布から学習することで、効果的な提案戦略の事前分布を学習する。
• 学習された提案を標準的なMCMCサンプラー（例：メトロポリス・ハスティングス）に統合し、収束速度と混合速度の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 手動設計を伴わずに、メタラーニングを用いて効果的なMCMC提案分布を自動生成できるか？
• RQ2 一つのメタ学習済み提案ネットワークが、構造や依存性が異なる多様な確率的モデルにどの程度一般化できるか？
• RQ3 本手法は、長距離依存性や強い依存性を有するモデルにおいて、標準的なブラックボックスMCMC手法と比較してより速い混合を達成できるか？
• RQ4 学習された提案により、MCMC推論におけるモデル固有のチューニングの必要性はどの程度低減できるか？

主な発見

• メタ学習によるMCMC提案分布は、強い事後依存性を有するモデルにおいて、標準的なランダムウォークMCMCおよびハミルトニアンMCMCと比較して、混合速度が顕著に向上した。
• 本手法は、長距離依存性やほぼ決定的な依存性を有するモデルを含む、さまざまな確率的モデルに一般化可能であり、再訓練を必要としない。
• 学習された提案は、特に結合変数を有する高次元モデルにおいて、収束が速く、自己相関が低いサンプルを達成した。
• 本手法は提案設計の手動工程の必要性を低減し、最小限のハイパーパrameterチューニングで多様なモデルクラスにわたって安定した性能を示した。