[論文レビュー] NeuTra-lizing Bad Geometry in Hamiltonian Monte Carlo Using Neural Transport

Matthew D. Hoffman, Pavel Sountsov+4 more|arXiv (Cornell University)|Mar 9, 2019

Markov Chains and Monte Carlo Methods参考文献 28被引用数 65

ひとこと要約

NeuTra HMC は、ターゲット分布を変形させるニューラル・トランスポートマップを学習し、幾何とミキシングを改善することで Hamiltonian Monte Carlo を高速化します。多くの場合、wall-clock time と有効サンプルサイズでバニラ HMC を上回ります。

ABSTRACT

Hamiltonian Monte Carlo is a powerful algorithm for sampling from difficult-to-normalize posterior distributions. However, when the geometry of the posterior is unfavorable, it may take many expensive evaluations of the target distribution and its gradient to converge and mix. We propose neural transport (NeuTra) HMC, a technique for learning to correct this sort of unfavorable geometry using inverse autoregressive flows (IAF), a powerful neural variational inference technique. The IAF is trained to minimize the KL divergence from an isotropic Gaussian to the warped posterior, and then HMC sampling is performed in the warped space. We evaluate NeuTra HMC on a variety of synthetic and real problems, and find that it significantly outperforms vanilla HMC both in time to reach the stationary distribution and asymptotic effective-sample-size rates.

研究の動機と目的

• HMC の収束とミキシングを遅くする不利な后方分布幾何を解決する。
• ターゲット空間を歪めるために inverse autoregressive flows (IAFs) を用いたスケーラブルなトランスポートマップ手法を開発する。
• HMC をより効率的にするトランスポートマップを訓練するための変分推論を活用する。
• ニュー Tra HMC を合成データと現実世界の問題で評価し、バニラ HMC と比較する。
• 曝露的な変分推論設定での適用可能性を探る。

提案手法

• パラメータ φ による写像 θ = fφ(z) を定義し、KL(q(θ) || p(θ)) を最小化するように IAF を訓練する（変分推論を介して）。
• 楕円空間 z でターゲット p(z) ∝ p(θ = f(z)) |∂f/∂ z| となるよう HMC を実行し、q(z) からサンプルを開始点として用いる。
• z-space のサンプルを前方へ f を介して θ-space のサンプルとして得る。
• 層を積んだ IAF により柔軟でスケーラブルなトランスポートマップを実現し、ヤコビアン決定式を効率的に計算する。
• 補助入力を条件としてマップを用いたアモルタイズド変分推論を任意に採用する。
• 混合と収束診断を最適化するためにベイズ最適化によって HMC のハイパーパラメータ調整を自動化する。

実験結果

リサーチクエスチョン

• RQ1 NeuTra HMC は ill-conditioned なターゲットに対してバニラ HMC より混合と収束速度を改善しますか？
• RQ2 ニューラルトランスポートマップ（IAF ベース）は HMC の有効サンプルサイズとwall-clock効率にどのように影響しますか？
• RQ3 ニューラルトランスポートマップは無条件と条件付き（アモルタイズド）ポスターリオの両方の設定で役立ちますか？
• RQ4 トランスポートマップ訓練時間と NeuTra HMC の warmup / mixing の利益との間にどのようなトレードオフがありますか？

主な発見

• NeuTra HMC は評価対象の問題で、定常状態に到達するまでの時間と漸近的 ESS 率の両方でバニラ HMC を大きく上回る。
• IAF ベースのトランスポートマップは対角行列や三角行列よりもターゲット幾何をより良く近似し、難しい領域の探索（ファンネルのネックなど）を改善する。
• DLGM や MNIST のような条件付きモデルでは NeuTra HMC がアモルタイズド後端を洗練させ、NeuTra ステップと組み合わせた後のテスト NLL を改善した。
• NeuTra はトランスポートマップのヤコビアンを介して RMHMC に類似した適応的挙動を導入し、完全な RMHMC の複雑さなしに局所幾何を改善する。
• トランスポートマップの訓練時間は、その後の混合の速さで相殺される可能性があり、ただし地形の問題によってトレードオフが生じる。