[論文レビュー] Efficient Bayesian Sampling Using Normalizing Flows to Assist Markov Chain Monte Carlo Methods

Marylou Gabrié, Grant M. Rotskoff+1 more|arXiv (Cornell University)|Jul 16, 2021

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

本稿では、直接KLダイバージェンスを用いてMCMCサンプラーが生成したデータ上で訓練する正規化フローを用いる、MCMCサンプリングを高速化する新規手法を提案する。この手法は、混合モダリティの事後分布における混合性を向上させ、ベイジアンエビデンスの正確な推定を可能にし、複雑な高次元例において標準MCMCおよび変分推論を凌駕する。

ABSTRACT

Normalizing flows can generate complex target distributions and thus show promise in many applications in Bayesian statistics as an alternative or complement to MCMC for sampling posteriors. Since no data set from the target posterior distribution is available beforehand, the flow is typically trained using the reverse Kullback-Leibler (KL) divergence that only requires samples from a base distribution. This strategy may perform poorly when the posterior is complicated and hard to sample with an untrained normalizing flow. Here we explore a distinct training strategy, using the direct KL divergence as loss, in which samples from the posterior are generated by (i) assisting a local MCMC algorithm on the posterior with a normalizing flow to accelerate its mixing rate and (ii) using the data generated this way to train the flow. The method only requires a limited amount of \ extit{a~priori} input about the posterior, and can be used to estimate the evidence required for model validation, as we illustrate on examples.

研究の動機と目的

• 混合モダリティの事後分布をサンプリングする際のMCMCの混合性の遅さを解消すること。
• 事後分布が基本分布から大きく離れており複雑な場合に、逆KL訓練による正規化フローの限界を克服すること。
• モデル比較や妥当性検証に不可欠なベイジアンエビデンス $ Z_* $ の正確な推定を可能にすること。
• MCMCが生成したデータを活用して正規化フローを訓練する、混合サンプリング・最適化フレームワークを構築すること。
• 事後分布の構造に関する事前の知識が最小限で済む、実用的でデータ駆動の手法を提供すること。

提案手法

• 局所的MCMCアルゴリズム（例：未調整ラングヴィンダイナミクス）を用いて事後分布のサンプルを生成し、正規化フローを用いて混合性を向上させる。
• 真の事後分布とフローのプッシュフォワード分布との間の直接Kullback-Leibler（KL）ダイバージェンスを用いてフローを訓練する。
• MCMCが生成したサンプルをフローの学習データとして活用し、事後分布の事前の知識に依存しない。
• 複雑で非正規分布の事後密度をモデル化するために、可逆的かつ自己回帰的なフロー構造を採用する。
• 訓練されたフローを用いてMCMCの新しい状態を提案し、高い受容率（例：高次元混合分布では約80％）を達成する。
• 最終的なフローとMCMCサンプルを用いて式（5）によりベイジアンエビデンス $ Z_* $ を推定し、モデル妥当性の検証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 直接KLダイバージェンスで訓練された正規化フローは、混合モダリティの事後分布におけるMCMCの混合性を向上させることができるか？
• RQ2 MCMCが生成したデータをフローの学習に用いることで、事前分布のサンプルを用いた逆KL訓練に比べ、より優れた事後分布近似が得られるか？
• RQ3 このハイブリッド手法は、追加の高コストな技術を用いずに、ベイジアンエビデンス $ Z_* $ を正確に推定できるか？
• RQ4 標準MCMCや変分推論と比較して、高次元で複雑な事後分布における本手法の性能はいかがなものか？
• RQ5 初期化や事前の知識の有無が、本手法が事後分布のすべてのモードを探索する能力に与える影響は何か？

主な発見

• 10次元のガウス混合モデルにおいて、フローに基づく提案では約80％の受容率を達成し、高い効率的な探索が可能であった。
• 混合モデルにおける2つのモードの相対的統計的重みは、小さな統計的誤差で推定され、正確な値に収束した。
• 系外惑星の径速度モデルでは、本手法が主な事後分布のモードをすべて正しくサンプリングできた。これは、$ K $ と $ v_0 $ における最大尤度ステップにより、Jokerアルゴリズムがモードを逃すことがあることと対照的である。
• 最終的なMCMCの受容率は、フローに従ってガイドされた提案を用いることで約60％にまで上昇し、標準MCMCに比べて顕著に混合性が向上した。
• 最終的なフローとMCMCサンプルを用いてベイジアンエビデンス $ Z_* $ が正確に推定され、モデル妥当性の検証が可能になった。
• 本手法は事後分布構造に関する限られた事前の知識でのみ動作し、異なるモードに初期化されたチェインが、すべてのモード間で効果的に混合した。