[論文レビュー] A Neural Network MCMC sampler that maximizes Proposal Entropy

Zengyi Li, Yubei Chen+1 more|arXiv (Cornell University)|Oct 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 4

ひとこと要約

この論文は、複雑で高次元の分布における探索を向上させるために、提案エントロピーを最大化するニューラルネットワークベースのMCMCサンプラーを提案している。勾配に基づき、トレーサブルな提案ネットワークをエントロピー最大化により訓練することで、HMC やラングジュィンダイナミクスと比較して、メトロポリス・ハスティングス手順あたりの有効サンプルサイズが最大32倍向上するという著しい高いサンプリング効率を達成した。特に、ファンネル分布のような挑戦的な幾何構造において顕著である。

ABSTRACT

Markov Chain Monte Carlo (MCMC) methods sample from unnormalized probability distributions and offer guarantees of exact sampling. However, in the continuous case, unfavorable geometry of the target distribution can greatly limit the efficiency of MCMC methods. Augmenting samplers with neural networks can potentially improve their efficiency. Previous neural network based samplers were trained with objectives that either did not explicitly encourage exploration, or used a L2 jump objective which could only be applied to well structured distributions. Thus it seems promising to instead maximize the proposal entropy for adapting the proposal to distributions of any shape. To allow direct optimization of the proposal entropy, we propose a neural network MCMC sampler that has a flexible and tractable proposal distribution. Specifically, our network architecture utilizes the gradient of the target distribution for generating proposals. Our model achieves significantly higher efficiency than previous neural network MCMC techniques in a variety of sampling tasks. Further, the sampler is applied on training of a convergent energy-based model of natural images. The adaptive sampler achieves unbiased sampling with significantly higher proposal entropy than Langevin dynamics sampler.

研究の動機と目的

• 高次元で幾何的に複雑な分布におけるMCMCサンプラーの非効率性を解消すること。
• 提案エントロピーの直接最適化により、間接的な目的に依存せず、MCMCにおける探索速度を向上させること。
• 直接エントロピー最適化が可能な、柔軟かつトレーサブルなニューラルネットワークの提案分布を設計すること。
• リーマン多様体HMCにおける非トレーサブルなヘッシアン計算を必要とせず、スケーラブルで幾何的耐性を持つサンプリングを可能にすること。
• 深層エネルギーベースモデルの学習において、サンプリングコストを低減できるかを実証すること。

提案手法

• サンプラーは、現在の状態とターゲット対数密度の勾配に条件付けられたニューラルネットワークを用いて提案分布をパrameter化する。
• 提案分布は柔軟かつ微分可能であり、エントロピー目的関数の直接最適化が可能である。
• モデルは提案分布のエントロピーを最大化する損失関数を用いて訓練され、状態空間全体の広範な探索を促進する。
• この手法はHMCと同様にターゲット分布の勾配を活用して提案生成をガイドするが、学習された適応的ダイナミクスを用いる。
• メトロポリス・ハスティングスの受容・棄却ステップにより、提案における近似にもかかわらず正確なサンプリングが保証される。
• アーキテクチャは非対称な提案を可能としており、例えばファンネル型分布における高エネルギー・低エネルギー領域間の効率的な混合を実現する。

実験結果

リサーチクエスチョン

• RQ1 提案エントロピーの最大化は、非楕円型の複雑なターゲット分布におけるMCMCサンプリングにおいて、より効率的な探索をもたらすか？
• RQ2 エントロピー最大化がトレーサブルで直接最適化可能なように、ニューラルネットワークの提案分布を設計できるか？
• RQ3 HMC やラングジュィンダイナミクスと比較して、この提案サンプラーは高次元で非対称な分布における有効サンプルサイズと混合性能において優れているか？
• RQ4 エントロピー最大化型サンプラーは、深層エネルギーベースモデルの学習に必要なサンプリングステップ数と勾配評価回数を削減できるか？
• RQ5 学習中に、高次元で現実世界のデータ分布においても、このサンプラーは高い提案エントロピーを維持できるか？

主な発見

• 20次元のファンネル分布において、提案サンプラーは1メトロポリス・ハスティングスステップあたり0.256の有効サンプルを達成した。一方HMCは僅か0.0079にとどまり、サンプリング効率が32倍向上した。
• ベイジアンロジスティック回帰タスクにおいて、有効サンプルサイズと収束速度の両面で、従来のニューラルネットワークMCMC手法を大きく上回った。
• オックスフォードのFlowersデータセットにおいて、深層エネルギーベースモデルの収束的学習が安定して達成され、EBMの1更新あたりわずか80回の勾配評価で実現可能だった（これは約280回のラングジュィンステップに相当）。これは先行研究の500ステップと比較して顕著な削減であった。
• 学習全体を通じて、適応的MALAと比較して、学習済みサンプラーは著しく高い提案エントロピーを維持しており、優れた探索能力を示した。
• 可視化結果から、このサンプラーは、高エネルギー状態と低エネルギー状態の間で大きな希少な遷移（例：エネルギー障壁を越える移動）を生成しており、これは混合性能の向上を裏付けている。
• 非対称かつマルチモーダルな分布に対しても適応可能であり、エネルギー障壁を越える効率的な遷移を可能にする非対称な提案を生成できる能力を有していた。