[論文レビュー] Hamiltonian Annealed Importance Sampling for partition function estimation

Jascha Sohl‐Dickstein, Benjamin J. Culpepper|arXiv (Cornell University)|May 9, 2012

Bayesian Methods and Mixture Models参考文献 17被引用数 22

ひとこと要約

本稿では、アニールド重要度サンプリング（AIS）とハミルトニアン力学を組み合わせることで、確率的モデルにおける正規化定数の推定を効率的に行うためのハミルトニアン・アニールド重要度サンプリング（HAIS）を提案する。HAISは、サンプリング効率と収束速度を著しく向上させ、多様な画像モデルにおける正確な対数尤度推定を可能にし、パラメータ数が少ない双一次生成モデルで他のモデルを上回る性能を示した。

ABSTRACT

We introduce an extension to annealed importance sampling that uses Hamiltonian dynamics to rapidly estimate normalization constants. We demonstrate this method by computing log likelihoods in directed and undirected probabilistic image models. We compare the performance of linear generative models with both Gaussian and Laplace priors, product of experts models with Laplace and Student's t experts, the mc-RBM, and a bilinear generative model. We provide code to compare additional models.

研究の動機と目的

• 確率的モデルにおける正規化定数の計算が困難であるという問題に取り組み、モデル尤度の直接評価を妨げる要因を解消すること。
• 自然画像パッチのための有向モデルおよび無向モデルにおける、対数尤度推定の効率性と正確性を向上させること。
• 計算上の課題によりしばしば無視されがちな、尤度の直接的かつ不偏な比較を可能にする、基本的な指標としての対数尤度を用いたモデル性能の比較を可能にすること。
• HAISが多様なモデルアーキテクチャにわたり、尤度推定において信頼性があり高速な収束を実現できることを示すこと。

提案手法

• アンケージド・インポートランス・サンプリング（AIS）を拡張し、ハミルトニアン力学を組み込んで、より長く効率的なサンプリング軌道を生成する。
• 従来のAISとは異なり、各ステップで再設定されるのではなく、一貫して中間分布全体にわたって補助的モーメンタム変数を伝搬する。
• 単純な事前分布からターゲットモデルへと移行する一連の中間分布を用い、ハミルトニアン力学がそれらの間の移行をガイドする。
• ルンゲ＝クッタ法に類似したループフロップ積分を用いてハミルトニアン力学をシミュレートし、詳細釣合の性質を保ち、正規化定数の不偏推定を保証する。
• 線形生成モデル、エキスパートの積（POE）、mc-RBM、および双一次モデルにおける対数尤度推定に本手法を適用する。
• 全軌道からの重み付きサンプルに基づく不偏な重要度サンプリング推定を用い、重みはアニールング経路に沿ったエネルギー差から導出される。

実験結果

リサーチクエスチョン

• RQ1 ハミルトニアン力学をアニールド重要度サンプリングに効果的に統合することで、サンプリング効率と収束速度が向上するか？
• RQ2 画像モデルにおける対数尤度推定において、HAISはガウス分布またはハミルトニアン遷移を用いた標準的なAISと比べてどのように性能を発揮するか？
• RQ3 モデルアーキテクチャや事前分布（例：ラプラス分布、スチューデントのt分布）の選択が、HAISを用いた対数尤度性能に与える影響は何か？
• RQ4 正規化定数が計算不能なモデル、特に複雑な生成モデルに対しても、HAISは信頼性があり正確な対数尤度推定が可能か？

主な発見

• HAISは、ガウス分布またはハミルトニアン遷移を用いた標準的なAISよりも高速に収束し、中間分布の数を最大で1桁減少させた。
• 双一次生成モデルは、他のモデルと比較して使用する補助変数が少ないにもかかわらず、対数尤度性能で優れており、高いモデル効率を示した。
• スチューデントのt分布を事前分布として用いたモデルやエキスパートを備えたモデルは、ラプラス分布を事前分布とするモデルよりも7ナツ以上高い対数尤度を達成し、重尾分布による顕著な性能向上が示された。
• 36次元のPCAデータでは、mc-RBMの長距離相関のモデリング能力が活かされず、性能が低かった。
• ラプラスエキスパートを備えたPOEモデルは、スパarsityが弱く、学習データへの過学習も起こらず、性能に限界が見られた。
• すべてのテスト対象モデルにおいて、HAISの推定値は真の対数尤度に収束した。これにより、不偏性と信頼性が裏付けられ、モデル比較に適していることが確認された。