[論文レビュー] Hierarchical Variational Models

Rajesh Ranganath, Dustin Tran+1 more|arXiv (Cornell University)|Nov 7, 2015

Gaussian Processes and Bayesian Inference参考文献 45被引用数 17

ひとこと要約

この論文では、変分パラメータに事前分布を置くことで、より豊かな事後分布の近似を可能にしつつブラックボックス計算効率を維持する、階層的変分モデル（HVMs）というフレームワークを紹介する。HVMsは、特に深く離散的な潜在変数を持つモデルにおいて、近似の忠実度を著しく向上させ、テキストデータセットにおいて平均場変分推論よりも最大180ポイント低いパープレキシティを達成する。

ABSTRACT

Black box variational inference allows researchers to easily prototype and evaluate an array of models. Recent advances allow such algorithms to scale to high dimensions. However, a central question remains: How to specify an expressive variational distribution that maintains efficient computation? To address this, we develop hierarchical variational models (HVMs). HVMs augment a variational approximation with a prior on its parameters, which allows it to capture complex structure for both discrete and continuous latent variables. The algorithm we develop is black box, can be used for any HVM, and has the same computational efficiency as the original approximation. We study HVMs on a variety of deep discrete latent variable models. HVMs generalize other expressive variational distributions and maintains higher fidelity to the posterior.

研究の動機と目的

• 潜在変数間の事後依存関係を捉えることができない平均場変分推論の限界を克服すること。
• 高次元モデルにおいても計算効率を維持できる、柔軟で表現力のある変分族の開発。
• 離散的潜在変数を伴う複雑なモデル、例えば深層指数型族における効果的な推論の実現。
• 変分パラメータに事前分布を導入することで、既存の変分族を階層的構造で一般化すること。
• 連続的および離散的潜在変数の両方において、近似品質を向上させつつブラックボックス推論の能力を維持すること。

提案手法

• 基本的な変分族 $ q_{\text{mf}}(\boldsymbol{z}; \boldsymbol{\lambda}) $ のパラメータ $ \boldsymbol{\lambda} $ に事前分布 $ q(\boldsymbol{\lambda}; \boldsymbol{\theta}) $ を置くことで階層的変分モデルを構築し、周辺化分布 $ q_{\text{hvm}}(\boldsymbol{z}; \boldsymbol{\theta}) = \int q(\boldsymbol{\lambda}; \boldsymbol{\theta}) \prod_i q(z_i; \boldsymbol{\lambda}_i) d\boldsymbol{\lambda} $ を得る。
• 正規化フロー（例：プランル・フロー）を用いて事前分布 $ q(\boldsymbol{\lambda}; \boldsymbol{\theta}) $ をモデル化し、柔軟で非正規のパラメータ分布を可能にする。
• ハイパーパrameter $ \boldsymbol{\theta} $ の最適化にブラックボックス変分推論を適用し、標準的な平均場推論と同等の計算効率を維持する。
• 既存の変分族に階層的事前分布を統合することで、事後分布における複雑な依存関係や多峰性構造を捉える能力を向上させる。
• 推論中に連合事後分布 $ q(\boldsymbol{\lambda} \mid \boldsymbol{z}, \boldsymbol{\theta}) $ を活用し、パラメータ推定を精緻化して近似品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 平均場法よりも表現力に優れ、かつ効率的なブラックボックス最適化を可能にする、より柔軟な変分族を構築できるか？
• RQ2 変分パラメータに階層的事前分布を置くことで、離散的潜在変数を伴うモデルにおける事後分布近似がどのように向上するか？
• RQ3 深層潜在変数モデル（例：深層指数型族）において、HVMsは平均場変分推論をどの程度上回るか？
• RQ4 平均場法が失敗する多層ポアソンおよびベルヌーイ深層指数型族を、HVMsが効果的にモデル化できるか？
• RQ5 変分族における階層的構造が、モデルの深さへの感受性を低下させ、データセット間での一般化性能を向上させるか？

主な発見

• 2つのテキストデータセットの6つのモデルにおいて、HVMsは平均場変分推論よりも平均パープレキシティで180ポイントの改善を達成し、多層モデルにおいても一貫した向上が見られた。
• Scienceデータセットでは、HVMsが最適な多段階ポアソンモデルを特定したが、平均場変分推論は近似忠実度の低さによりこの構造を同定できなかった。
• ニューヨーク・タイムズデータセットでは、6つのモデルのうち5つでHVMsが平均場法を上回ったが、2層ベルヌーイモデルを除いては平均場法がHVMsを上回った。
• HVMsは、平均場変分推論が収束しないか意味のある結果を出せない多段階ポアソン深層指数型族においても、効果的な推論を可能にした。
• 変分パラメータに正規化フローを事前分布として用いることで、計算効率を損なわず、モデルの柔軟性が著しく向上した。
• HVMsは、特に深く離散的な潜在変数を持つモデルにおいて、複雑な事後依存関係や多峰性構造を捉えつつ、ブラックボックス推論の効率を維持した。