[論文レビュー] Automating Involutive MCMC using Probabilistic and Differentiable Programming

Marco Cusumano-Towner, Alexander K. Lew+1 more|arXiv (Cornell University)|Jul 20, 2020

Bayesian Methods and Mixture Models参考文献 32被引用数 5

ひとこと要約

この論文では、確率的および微分可能なプログラミングを用いて、自動的に双対的MCMCカーネルを実装する手法を提示している。これにより、複雑な状態空間においても正しくかつ効率的なサンプリングが可能になる。ターゲット分布と補助分布を確率的プログラムとして、変換を微分可能なプログラムとして指定することで、フレームワークは受容確率を自動的に計算し、エラーを検出するとともに、スパarsityを活用して性能向上を図る。

ABSTRACT

Involutive MCMC is a unifying mathematical construction for MCMC kernels that generalizes many classic and state-of-the-art MCMC algorithms, from reversible jump MCMC to kernels based on deep neural networks. But as with MCMC samplers more generally, implementing involutive MCMC kernels is often tedious and error-prone, especially when sampling on complex state spaces. This paper describes a technique for automating the implementation of involutive MCMC kernels given (i) a pair of probabilistic programs defining the target distribution and an auxiliary distribution respectively and (ii) a differentiable program that transforms the execution traces of these probabilistic programs. The technique, which is implemented as part of the Gen probabilistic programming system, also automatically detects user errors in the specification of involutive MCMC kernels and exploits sparsity in the kernels for improved efficiency. The paper shows example Gen code for a split-merge reversible jump move in an infinite Gaussian mixture model and a state-dependent mixture of proposals on a combinatorial space of covariance functions for a Gaussian process.

研究の動機と目的

• 双対的MCMCカーネルの実装を簡素化すること。これは数学的に強力ではあるが、手動での実装が煩雑かつミスを誘発しやすい。
• 確率的プログラムのトレースに対して自動微分を適用することで、複雑で構造的な状態空間におけるMCMCにおける受容確率を自動的に計算すること。
• 双対的MCMC仕様における数学的不整合（誤った双対変換や不一致する密度）を検出することで、信頼性を向上させること。
• 双対変換におけるスパarsityを活用して、性能最適化を図ること。
• ベイズ推論で一般的な、複雑で構造的な状態空間（例えば、組み合わせ的モデル空間）へ一般化すること。

提案手法

• ターゲット分布と補助分布をトレースベースの状態空間上で実行される確率的プログラムとして定義し、実行トレースをキーバリュー・ストアとして形式化する。
• 双対性と微分可能性を保証するように、変換を微分可能なプログラムとして符号化し、確率的プログラムのトレースを変換する。
• メトロポリス・ハスティングスの受容率に必要なヤコビアン行列式の行列式を自動微分によって計算する。
• 双対変換が自身の逆写像であることを検証し、測度論的整合性が保持されることを確認することで、仕様上のエラーを検出する。
• 双対変換におけるスパarsityを、どのトレース要素が変更されたかを分析することで活用し、計算複雑度をO(N³)からO(1)にまで低減する。
• このアプローチはGen確率的プログラミングシステムに実装され、無限ガウス・ミックスチャネル・モデルおよびガウス過程の共分散構造に対して実証されている。

実験結果

リサーチクエスチョン

• RQ1 ターゲット分布と補助分布の宣言的仕様および微分可能な変換から、双対的MCMCカーネルを自動的に実装できるか？
• RQ2 複雑で構造的な状態空間におけるMCMCで、受容確率を正しく計算するために自動微分をどのように活用できるか？
• RQ3 双対的MCMCカーネルの仕様における数学的誤り（誤った双対変換や不一致する密度）を検出するためのメカニズムは何か？
• RQ4 双対変換におけるスパarsityが、MCMCサンプリングにおいてどの程度の性能向上をもたらすか？
• RQ5 このフレームワークは、状態依存混合やニューラルプロポーザルネットワークのような高度なMCMC技術へ一般化可能か？

主な発見

• フレームワークはトレース変換の微分により、双対的MCMCの正しい受容確率を自動的に計算し、手動によるヤコビアン導出を不要にした。
• 変換が双対的であるか、およびトレース間で密度が整合しているかを検証することで、双対的MCMCカーネルの仕様エラーを検出する。
• 双対変換におけるスパarsityを活用することで、カーネルの適用にかかる計算コストを、特定の状況ではO(N³)からO(1)にまで削減し、著しく効率性を向上させた。
• スプリット・マージの逆遷移MCMCのような複雑な移動を、無限ガウス・ミックスチャネル・モデルにおいて自動的に正しく実装し、受容確率の計算を自動で処理した。
• 組み合わせ的空間（例えば、ガウス過程における共分散関数のパースツリー）において、効率的な状態依存混合のプロポーザルを実現し、確率比の自動計算を可能にした。
• Genにおける実装は、すでに計算生物学およびAI分野の実世界の応用で使用されており、実用的価値と拡張性を示している。