[論文レビュー] The NuZZ: Numerical ZigZag Sampling for General Models.

Simon L. Cotter, Thomas House+1 more|arXiv (Cornell University)|Mar 7, 2020

Markov Chains and Monte Carlo Methods参考文献 42被引用数 4

ひとこと要約

NuZZアルゴリズムは、解析的勾配評価を数値積分と根の探索に置き換えることで、一般の統計モデルにおける境界なしの効率的推論を可能にするZigZagサンプラーの数値的変種である。他の手法と比較して、混合性能が向上し、Wasserstein誤差が低減していることが示されており、実世界の応用においてハミルトニアン・モンテカルロ（HMC）や薄められたZigZagよりも優れた性能を示す実証的証拠がある。

ABSTRACT

We present the Numerical ZigZag (NuZZ) algorithm, a Piecewise Deterministic MCMC algorithm that is applicable to general statistical models, without the need for bounds on the gradient of the log posterior. This allows us to investigate: (i) how the ZigZag process behaves on some test problems with common challenging features; (ii) the performance of NuZZ compared to other numerical approaches to the ZigZag; (iii) the error between the target and sampled distributions as a function of computational effort for different MCMC algorithms including the NuZZ. Through a series of test problems we compare the mixing of the ZigZag process against other common methods. We present numerical evidence and an analytical argument that the Wasserstein distance between the target distribution and the invariant distribution of the NuZZ process is expected to exhibit asymptotically linearly dependence on the tolerances of both the numerical integration and root finding schemes used. Notably we present a real-life example which demonstrates that NuZZ can outperform not only the super-efficient version of the ZigZag process with thinning, but also well-established methods such as Hamiltonian Monte Carlo.

研究の動機と目的

• 対数後確率の勾配に制限的な境界を課さない汎用MCMC手法の開発を目的とする。
• 一般的な統計的特徴を有する挑戦的なテスト問題におけるZigZag過程の挙動を調査することを目的とする。
• 混合性能と計算効率の観点から、NuZZの他の数値的および確立済みMCMC手法との性能を比較することを目的とする。
• 数値許容誤差に依存する、標本分布とターゲット分布間のWasserstein距離の依存関係を分析することを目的とする。
• 実世界の推論タスクにおけるNuZZの実用的優位性を示すこと

提案手法

• NuZZアルゴリズムは、ZigZagプロセスにおける解析的勾配評価を、勾配の数値的積分に置き換えることで、勾配の明示的境界がないモデルへの適用を可能にする。
• Piecewise Deterministic Markov Processにおけるイベント発生時刻の特定に、数値的根の探索手法を用い、速度成分の動的切り替えを可能にする。
• 数値的積分および根の探索に適応的時間刻み幅スキームを採用し、近似誤差を制御する許容誤差を設定する。
• 数値許容誤差が小さくなるにつれて、NuZZプロセスの不変分布がターゲット後確率分布に収束することを示している。
• 元のZigZagが持つpiecewise deterministic構造を維持することで、ジャンプ時刻の効率的シミュレーションが可能である。
• 理論的分析により、ターゲット分布とサンプル分布間のWasserstein距離が、数値許容誤差に線形に依存することが確立されている。

実験結果

リサーチクエスチョン

• RQ1 非滑らかまたは高次元の後確率を有する挑戦的特徴を有するテスト問題において、NuZZアルゴリズムはどのように性能を発揮するか？
• RQ2 積分および根の探索における数値許容誤差と、得られるサンプル分布の誤差との関係は何か？
• RQ3 さまざまなモデルにおいて、NuZZの混合挙動はハミルトニアン・モンテカルロ（HMC）および薄められたZigZagと比較してどうなるか？
• RQ4 実世界の応用において、確立済みMCMC手法よりもNuZZが高い計算効率を達成できるか？
• RQ5 数値精度に依存する、ターゲット分布と不変分布間のWasserstein距離の理論的スケーリングは何か？

主な発見

• 数値積分および根の探索における許容誤差に依存して、ターゲット分布とNuZZプロセスの不変分布間のWasserstein距離が漸近的に線形に依存する。
• 数値実験により、ベンチマーク問題において、薄められたZigZagおよびハミルトニアン・モンテカルロ（HMC）と比較して、NuZZがより速い混合性能を達成していることが示された。
• 実世界の応用において、NuZZは、超効率的な薄められたZigZagおよびハミルトニアン・モンテカルロ（HMC）を凌駒し、計算コスト単位あたりの有効サンプルサイズが優れている。
• 解析的勾配が入手不可能または計算が困難なモデルに対しても、本手法は効果的に対処でき、ZigZagフレームワークの適用範囲を拡張した。
• 理論的および実証的結果により、数値近似によって生じる誤差が許容誤差設定に従って予測可能かつ線形に増大することが確認された。
• アルゴリズムは、数値近似により適用範囲を広げつつも、元のZigZagプロセスの効率性を維持している。