[論文レビュー] Continual Repeated Annealed Flow Transport Monte Carlo

Alexander Matthews, Michael Arbel+2 more|arXiv (Cornell University)|Jan 31, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、逐次モンテカルロ（SMC）と正規化フローを組み合わせることで、サンプリング効率と正規化定数の推定を向上させる、継続的反復冷却フロー輸送モンテカルロ（CRAFT）を提案する。CRAFTは、冷却温度間のKLダイバージェンスを最小化する形でフローを訓練し、SMC近似からの勾配推定を用いる。AFT や MCMC を用いた確率的正規化フローと比較して、より低い分散と高い精度を達成する。

ABSTRACT

We propose Continual Repeated Annealed Flow Transport Monte Carlo (CRAFT), a method that combines a sequential Monte Carlo (SMC) sampler (itself a generalization of Annealed Importance Sampling) with variational inference using normalizing flows. The normalizing flows are directly trained to transport between annealing temperatures using a KL divergence for each transition. This optimization objective is itself estimated using the normalizing flow/SMC approximation. We show conceptually and using multiple empirical examples that CRAFT improves on Annealed Flow Transport Monte Carlo (Arbel et al., 2021), on which it builds and also on Markov chain Monte Carlo (MCMC) based Stochastic Normalizing Flows (Wu et al., 2020). By incorporating CRAFT within particle MCMC, we show that such learnt samplers can achieve impressively accurate results on a challenging lattice field theory example.

研究の動機と目的

• 複雑で高次元な分布からのサンプリングにおいて、標準的なSMCサンプラの高い分散とバイアスを解消すること。
• 正規化フローを用いた変分推論の限界、例えばモード探索行動や複雑なターゲットとのトポロジーの不一致を克服すること。
• MCMCステップとリサンプリングをフローに基づくSMCフレームワークに統合し、表現能力とサンプリング効率を向上させること。
• SMCを介して推定されるKLダイバージェンスを直接最適化するようにフローを訓練する目的関数を開発すること。
• 学習されたCRAFTサンプラを、ラティス場理論のような困難な推論タスクにおける高速で低分散な内側ループとして活用可能にする。

提案手法

• CRAFTは、単純な事前分布から複雑なターゲット分布への段階的冷却分布の系列を用い、フローが連続する温度間で粒子を輸送するように訓練する。
• 訓練目的関数は、各ステップでフロー変換後の直前の分布と次の冷却分布との間のKLダイバージェンスを最小化する。
• フロー最適化のための勾配は、SMC近似を用いて推定され、フローの勾配はKLダイバージェンスのパスワイズ微分から計算される。
• CRAFTは継続的かつ反復的な訓練ループを採用する：更新されたフローを用いて複数回のSMC実行が繰り返され、一般化性能の向上とサンプル再補充問題の低減が図られる。
• MCMCステップとメトロポリス・ハスティングスの受容基準、およびリサンプリングを統合することで、多次元性やトポロジカルに複雑な事後分布に対しても頑健な性能を発揮する。
• 実装上では、フロー訓練中に過学習を防ぐために検証損失の早期停止を採用し、別個の訓練・検証・テスト用の粒子集合を用意する。

実験結果

リサーチクエスチョン

• RQ1 正規化フローとSMCを組み合わせることで、標準的なAFTと比較して、正規化定数推定の精度と分散が向上するか？
• RQ2 SMCにおけるフローの継続的・反復的訓練が、高次元または多次元事後分布においてサンプル再補充問題を軽減し、収束性を向上させるか？
• RQ3 CRAFTは、ラティス場理論のような複雑なモデルにおいて、効率的で低分散な内側サンプラとして、Particle MCMCフレームワークで活用可能か？
• RQ4 推定誤差と計算コストの観点から、CRAFTはMCMCベースの確率的正規化フローおよび標準的なAFTと比較して、どのように異なるか？
• RQ5 CRAFTにおけるKLベースの訓練目的関数は、フローを用いた変分推論で一般的なモード探索行動をどの程度軽減するか？

主な発見

• CRAFTは、AFT や MCMC を用いた確率的正規化フローと比較して、特に高次元設定において正規化定数推定の分散を顕著に低減する。
• ラティス場理論の文脈では、CRAFTを用いたParticle MCMCは、ベースライン手法と比較して反復回数を減らし、より低い分散で高精度な事後分布推定を達成する。
• CRAFTにおける継続的・反復的訓練ループは、AFT に見られるサンプル再補充問題を緩和し、より安定的かつ正確なフロー学習を実現する。
• CRAFTは、多次元性や重尾を持つターゲットを含む複数のベンチマーク分布において、正規化定数推定および事後期待値推定の両面でAFTを上回る。
• CRAFTは、より少ない粒子数と少ない冷却ステップ数で低い推定誤差を達成し、サンプル効率の向上を示す。
• 実験的結果から、CRAFTのフローに基づくSMCサンプラは、標準的なSMCや単独の正規化フローと比較して、より一貫性があり信頼性の高い推論を実現することが示された。