[論文レビュー] Auxiliary-variable Exact Hamiltonian Monte Carlo Samplers for Binary Distributions

Ari Pakman, Liam Paninski|arXiv (Cornell University)|Nov 9, 2013

Markov Chains and Monte Carlo Methods参考文献 13被引用数 40

ひとこと要約

本稿では、離散変数に連続的な補助変数を追加することで、バイナリ分布に対する正確なハミルトニアン・モンテカルロ（HMC）サンプラーを導入し、ステップサイズのチューニングなしにハミルトニアン運動方程式を正確に統合できるようにする。この手法は、特にスパイラル・アンド・スラブ線形回帰およびプロビット回帰（パラメータに切断あり）において、メトロポリスおよびギブス・サンプラーを上回る混合性と効率性を達成する。

ABSTRACT

We present a new approach to sample from generic binary distributions, based on an exact Hamiltonian Monte Carlo algorithm applied to a piecewise continuous augmentation of the binary distribution of interest. An extension of this idea to distributions over mixtures of binary and possibly-truncated Gaussian or exponential variables allows us to sample from posteriors of linear and probit regression models with spike-and-slab priors and truncated parameters. We illustrate the advantages of these algorithms in several examples in which they outperform the Metropolis or Gibbs samplers.

研究の動機と目的

• 一般のバイナリ分布に対する効率的なMCMCサンプリングを開発すること。これは、離散的状態空間と標準MCMC手法における混合性の悪さのため、困難である。
• スパイラル・アンド・スラブ事前分布を用いたベイジアン線形回帰およびプロビット回帰を含む、混合バイナリ-連続モデルへの正確なHMCの拡張を行うこと。
• パラメータの切断（例：正の制約）を伴う事後分布からのサンプリングを可能にしつつ、正確なハミルトニアン運動を維持すること。
• 区分的2次関数ポテンシャルを用いることで、運動方程式の正確な統合を保証し、HMCにおけるステップサイズチューニングの必要性を排除すること。
• 高次元バイナリおよび混合モデルにおいて、既存の手法（メトロポリスおよびギブス・サンプラー）と比較して、より優れたサンプリング効率と収束性を示すことを実証すること。

提案手法

• バイナリ分布 $ p({\bf s}) $ を、$ s_i = \text{sign}(y_i) $ を満たす連続変数 $ {\bf y} \in \mathbb{R}^d $ で拡張し、離散的問題を連続的問題に変換する。
• 各象限（$ {\bf y} $ の符号によって定義される領域）内で対数密度が2次関数となるような、区分的ガウス分布 $ p({\bf y}) $ を定義する。
• ハミルトニアン $ H({\bf y}, {\bf q}) = U({\bf y}) + \frac{1}{2} {\bf q} \cdot {\bf q} $ を構築し、$ U({\bf y}) $ を負の対数結合密度とする。これにより運動方程式の正確な解が可能になる。
• 三角関数解を用いてハミルトニアン力学を正確に統合する：$ y_i(t) = y_i(0)\cos(t) + q_i(0)\sin(t) $ は、各象限内で有効である。
• $ y_i = 0 $ における不連続性は、エネルギー保存則に従い、運動量のジャンプで処理する。$ q_i^2(t_j^+) = \Delta_j + q_i^2(t_j^-) $ で表され、$ \Delta_j $ は符号変化に伴うポテンシャルエネルギーのジャンプを表す。
• バイナリおよび連続的パラメータの両方の補助変数を導入することで、混合バイナリ-ガウスモデルへ拡張する。各成分に対して別個のハミルトニアンと、象限に応じて調整された質量行列を用いる。

実験結果

リサーチクエスチョン

• RQ1 区分的2次関数対数尤度を持つ補助連続変数の導入により、バイナリ分布に対する正確なHMCを適用可能か？
• RQ2 提案手法におけるステップサイズチューニングの不在が、バイナリサンプリング問題における混合性および収束性の向上に寄与するか？
• RQ3 正確なHMCフレームワークは、パラメータに切断を伴うような混合バイナリ-連続モデル（例：スパイラル・アンド・スラブ回帰）へ拡張可能か？
• RQ4 有効サンプルサイズおよび収束速度という観点から、提案されたサンプラーはメトロポリスおよびギブス・サンプラーと比較してどの程度優れているか？
• RQ5 パラメータの切断（例：正の制約）が、サンプリングアルゴリズムの力学的挙動および効率性に与える影響は何か？

主な発見

• エネルギー保存則に従うため、提案手法はステップサイズチューニングなしに正確なハミルトニアン運動を実現し、すべての移動に対して100%の受容率を達成する。
• バイナリ分布において、有効サンプルサイズおよび収束速度という観点で、メトロポリスおよびギブス・サンプラーを上回る性能を示す。特に高次元設定において顕著である。
• パラメータに切断を伴うスパイラル・アンド・スラブ線形回帰において、混合離散-連続問題を区分的2次関数ポテンシャルを用いた連続的問題に変換することで、効率的な事後分布サンプリングを可能にする。
• 境界で速度を弾性反射させる手法により、パラメータの切断を効果的に処理する。これは、切断ガウス分布サンプリング技術と類似している。
• バイナリ変数を符号制約によって表す補助変数 $ {\bf y} $ の使用により、非滑らかな目的関数のため標準HMCが適用できないモデルに対しても正確なHMCを適用可能になる。
• 実験的結果では、混合性の向上と自己相関の低減という点で、ベースラインMCMC手法と比較して一貫したサンプリング効率の向上が確認された。