[論文レビュー] Ergodic Inference: Accelerate Convergence by Optimisation

Yichuan Zhang, José Miguel Hernández-Lobato|arXiv (Cornell University)|May 25, 2018

Gaussian Processes and Bayesian Inference参考文献 22被引用数 5

ひとこと要約

本論文は、勾配ベース最適化を用いて有限長MCMC系列のハイパーパrameterを最適化することで、MCMCの収束を加速するハイブリッド手法Ergodic Inference (EI)を提案する。MCMCパラメータをバイアスを最小化しつつ計算効率を維持するように調整することで、従来のMCMC-VIハイブリッド手法よりも、深層生成モデルベンチマークで優れた性能を示す低バイアス・独立サンプルを生成する。

ABSTRACT

Statistical inference methods are fundamentally important in machine learning. Most state-of-the-art inference algorithms are variants of Markov chain Monte Carlo (MCMC) or variational inference (VI). However, both methods struggle with limitations in practice: MCMC methods can be computationally demanding; VI methods may have large bias. In this work, we aim to improve upon MCMC and VI by a novel hybrid method based on the idea of reducing simulation bias of finite-length MCMC chains using gradient-based optimisation. The proposed method can generate low-biased samples by increasing the length of MCMC simulation and optimising the MCMC hyper-parameters, which offers attractive balance between approximation bias and computational efficiency. We show that our method produces promising results on popular benchmarks when compared to recent hybrid methods of MCMC and VI.

研究の動機と目的

• MCMCと変分ベイズ法（VI）の間の計算コストと近似バイアスのトレードオフを解消すること。
• 長時間のバーンインを必要とせずに、有限長MCMC系列におけるシミュレーションバイアスを低減すること。
• 最適化を活用してMCMCの収束とサンプル品質を向上させるハイブリッド推論フレームワークの構築。
• トレーサブルな目的関数を用いてハイパーパrameterを最適化することで、MCMC系列の最終状態から独立で低バイアスのサンプルを生成すること。
• 最先端のハイブリッド手法と比較して、訓練時間を短縮しつつ、深層生成モデルにおけるテスト対数尤度を向上させること。

提案手法

• EIは、最終MCMC系列の分布とターゲット分布との乖離を最小化する勾配ベース最適化目的関数を定式化する。
• ハイパーパラメータとしてステップサイズとループフロッグステップ数を含む、柔軟な有限ステップMCMC系列を採用し、ハミルトニアン・モンテカルロ（HMC）カーネルを用いる。
• EIは、最終系列の期待対数未正規化密度と真のターゲット分布との差を最小化することで、MCMC遷移カーネルのパラメータを最適化する。
• 目的関数はターゲット密度の対数未正規化値にのみ依存し、完全な正規化を必要としないため、効率的な勾配計算が可能である。
• EIは、ハイパーパラメータチューニング中の計算コストを低減するため、ストッピング勾配トリックを採用し、訓練効率を向上させる。
• 最終状態のMCMC系列からのサンプルは独立しており、標準的なMCMCで一般的な自己相関問題を回避する。

実験結果

リサーチクエスチョン

• RQ1 有限長MCMC系列における近似バイアスを低減するために、MCMCハイパーパラメータを最適化可能か？
• RQ2 MCMCパラメータを勾配ベース最適化することで、標準MCMCやVIと比較して収束速度とサンプル品質が向上するか？
• RQ3 提案手法は、既存のMCMC-VIハイブリッド手法と比較して、独立で低バイアスのサンプルを生成するか？
• RQ4 類似またはより優れたテスト対数尤度を達成する際、EIの計算コストはベースライン手法と比較してどの程度か？
• RQ5 EIは、著しく短縮された訓練時間で、深層生成モデルにおいて最先端の性能を達成できるか？

主な発見

• HEI（Ergodic Inference）は12時間の訓練でMNISTでテスト対数尤度-81.43を達成し、ベースラインVAEおよびHVI手法を上回った。
• わずか1.65時間の訓練で、HEIはテスト対数尤度-83.17を達成し、6時間訓練されたHVI手法を上回った。
• HEIはハミルトニアン・アンナールド・インポートランス・サンプリング（HAIS）の有効サンプルサイズ（ESS）を48にまで低減し、信頼性の高い対数尤度推定を示した。
• ストッピング勾配トリックにより、訓練時間が最大5倍短縮され、計算効率が顕著に向上した。
• 期待対数密度差とMMDスコアのプロットから、T=10のHMCステップでも最小限の劣化が観察され、高速収束を示した。
• すべての訓練時間において、HEIはHVAE、HVI、および標準VAEを上回るテスト対数尤度を達成し、短時間訓練時でも一貫した性能向上を示した。