[論文レビュー] Transport Monte Carlo

Leo L. Duan|arXiv (Cornell University)|Jul 24, 2019

Markov Chains and Monte Carlo Methods参考文献 18被引用数 4

ひとこと要約

この論文では、最適輸送を用いてターゲット事後分布を一様分布に写像するランダムな輸送計画を通じて、新たなベイズ的事後分布推定手法であるTransport Monte Carloを提案する。この計画を単純な位置・スケール変換の混合としてパラメータ化し、密度加重サンプリングにベイズの定理を適用することで、証明可能な誤差バウンダリーを伴い、独立で高精度な事後分布サンプルを生成する。この手法は、多モード型、高次元型、組合せ的問題において、最先端の手法を上回る性能を発揮する。

ABSTRACT

Markov chain Monte Carlo is routinely used for posterior estimation in Bayesian models; however, it can suffer from computing inefficiency, especially in high dimensional or hierarchical models, due to the high correlation appearing in the Markov chain. While approximate solutions have become popular, there are concerns about accuracy. Inspired by the optimal transport literature, we propose a new posterior estimation strategy by instead solving for a random transport plan between the target posterior and multivariate uniform distribution. Specifically, the uniform can be well approximated by an infinite mixture of one-to-one transforms from the posterior -- the reverse conditional is the posterior as a random draw from the transforms of the uniform, providing a way of rapidly generating independent posterior samples. Most importantly, via the Bayes' theorem, the drawing is directly weighted by the posterior density/mass function, leading to high approximation accuracy. Compared to the other inverse methods, our random transport plan is very simple to parameterize, such as a mixture of basic location-and-scale changes. We provide theoretic justifications and quantify the approximation error of the finite sample. Our method shows compelling advantages in the accuracy compared to other state-of-art approaches, and we demonstrate its practical usefulness in solving challenging problems, such estimating multi-modal distribution, high-dimensional sparse regression, and combinatorial graph.

研究の動機と目的

• 高次元および階層的ベイズモデルにおけるマルコフ連鎖モンテカルロ（MCMC）の計算非効率性を是正すること。これは、サンプル間に高い相関が生じるためである。
• 近似推論に依存しない、高精度な非MCMCの事後分布推定戦略を開発すること。
• 最適輸送理論を活用し、事後分布と一様分布との間でランダムな輸送計画を構築することで、効率的かつ独立したサンプリングを実現すること。
• 有限サンプルにおける近似誤差について、理論的保証を提供すること。
• 多モード型事後分布、高次元スパース回帰、組合せ的グラフ推論といった困難な問題において、実用的優位性を示すこと。

提案手法

• この手法は、最適輸送の原則に従い、一様分布からターゲット事後分布へのランダムな輸送計画として事後分布サンプリングを定式化する。
• 輸送計画は、基本的な位置・スケール変換の有限混合としてパラメータ化され、単純かつ効率的な実装を可能にする。
• 逆条件付き分布（輸送計画からのサンプリング）により、ベイズの定理を用いて直接的に事後分布密度で重み付けされたサンプルが得られる。
• この手法は、MCMCの相関問題を回避するため、近似的に独立で同一分布に従うサンプルを保証する。
• 理論的分析により、最適輸送理論から導かれるバウンダリーを用いて、有限サンプルにおける輸送計画の近似誤差を定量的に評価する。
• 学習済みの輸送マップを通じて一様乱数を変換することで、迅速な事後分布シミュレーションが可能になる。

実験結果

リサーチクエスチョン

• RQ1 輸送に基づく手法は、複雑なベイズモデルにおいて、最先端のMCMCおよび変分推論を上回る高いサンプリング精度を達成できるか？
• RQ2 最適輸送を活用して、事後分布サンプリングに適した単純でパラメータ化可能なランダムな輸送計画をどのように構築できるか？
• RQ3 有限サンプルにおける輸送計画の理論的近似誤差は何か？また、サンプルサイズに伴いどのようにスケーリングされるか？
• RQ4 この手法は、多モード型事後分布、高次元スパース回帰、組合せ的推論問題を効果的に処理できるか？
• RQ5 従来の逆変換サンプリングおよび正規化フローに基づくアプローチと比較して、この手法の効率性と精度はどの程度か？

主な発見

• Transport Monte Carlo手法は、多モード型事後分布の推定において、最先端の手法を著しく上回る高い精度を達成した。
• 高次元スパース回帰タスクにおいても、優れた性能を示し、スパースな係数パターンを正確に回復した。
• 従来のMCMC手法が高相関性と遅い混合性のため苦戦する組合せ的グラフ推論問題に対しても、効果的に対処できた。
• 理論的分析により、有限サンプルにおける近似誤差が有界であり、サンプルサイズの増加に伴い減少することが示された。
• 単純な位置・スケール変換の混合を通じて一様変数を変換することで、独立な事後分布サンプルを効率的に生成できた。
• 実験的結果から、ベイズの定理による密度加重サンプリングが、反復的なマルコフ連鎖を必要とせず、高精度な事後分布近似を達成することが確認された。