[論文レビュー] Dependent Multinomial Models Made Easy: Stick Breaking with the Pólya-Gamma Augmentation

Scott W. Linderman, Matthew Johnson+1 more|arXiv (Cornell University)|Jun 18, 2015

Bayesian Methods and Mixture Models参考文献 18被引用数 57

ひとこと要約

本稿では、従来のディリクレ-多項分布モデルが複雑な依存関係を捉えるのを制限している点を補うために、依存する多項分布モデルのための新しいポリア-ガンマ補完付きスティックブレイキング表現を提案する。この手法により、多項分布尤度を条件付き共役なガウス形式に変換することで、効率的なベイズ推論が可能になる。この方法により、市販のガウス過程および線形動的システムツールとのシームレスな統合が可能となり、テキスト、DNA、時系列名前データのあらゆる分野で高速でモジュラーかつスケーラブルな推論が達成される。

ABSTRACT

Many practical modeling problems involve discrete data that are best represented as draws from multinomial or categorical distributions. For example, nucleotides in a DNA sequence, children's names in a given state and year, and text documents are all commonly modeled with multinomial distributions. In all of these cases, we expect some form of dependency between the draws: the nucleotide at one position in the DNA strand may depend on the preceding nucleotides, children's names are highly correlated from year to year, and topics in text may be correlated and dynamic. These dependencies are not naturally captured by the typical Dirichlet-multinomial formulation. Here, we leverage a logistic stick-breaking representation and recent innovations in Pólya-gamma augmentation to reformulate the multinomial distribution in terms of latent variables with jointly Gaussian likelihoods, enabling us to take advantage of a host of Bayesian inference techniques for Gaussian models with minimal overhead.

研究の動機と目的

• 標準のディリクレ-多項分布モデルが多項分布パラメータ間の複雑な依存関係を捉えることができないという限界を解消すること。
• 連関する多項分布データ（テキスト、DNA配列、時系列名前パターンなど）を、連続的な潜在構造を用いて統一的かつモジュラーなフレームワークでモデル化すること。
• 多項分布尤度をポリア-ガンマ補完を用いて条件付き共役なガウス形式に変換することで、効率的でスケーラブルかつ合成可能な推論を可能にすること。
• ガウス過程および線形動的システム用の既存の高性能ソフトウェアとの統合を容易にし、カスタム推論コードを一切不要にすること。

提案手法

• 確率単体を段階的二項選択に分解する再帰的スティックブレイキングプロセスを用いて多項分布を表現する。
• スティックブレイキングパラメータのロジスティック変換にポリア-ガンマ補完を適用し、補助変数を導入することで、周辺事後分布が条件付きガウス分布になるようにする。
• ポリソンら（2013）の積分恒等式を用いて、多項分布尤度をポリア-ガンマ分布に従う補助変数を持つガウス混合に表現する。
• 補助変数とハイパーパラメータが与えられたもとで、潜在的スティックブレイキング変数の条件付き分布がガウス分布になるようにすることで、ブロックギブスサンプリングを可能にする。
• 条件付き共役性を活用して、潜在状態および補助変数の効率的サンプリングを可能にし、補助変数は状態と観測回数が与えられたもとでポリア-ガンマ分布から抽出される。
• 既存のガウス過程およびLDS推論パイプラインを再利用することで、相関トピックモデル、離散系列用の状態空間モデル、共変数を含むモデルなど、複雑なモデルへのモジュラーな拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ポリア-ガンマ補完スキームを二項分布から多項分布尤度へ拡張することで、依存する多項分布モデルにおける効率的ベイズ推論を可能にすることができるか？
• RQ2 多項分布のスティックブレイキング表現とポリア-ガンマ補完を組み合わせることで、条件付き共役推論を達成できるか？
• RQ3 この手法は、多項分布観測を持つモデルにおいて、pMCMC、HMM、非共役変分推論といった既存手法と比較して、推論速度および精度の面でどの程度向上するか？
• RQ4 このフレームワークは、離散系列用の状態空間モデルや相関トピックモデルといった複雑なモデルへ、特別な推論コードを一切作成せず、モジュラーに拡張可能か？

主な発見

• スティックブレイキング多項分布線形動的システム（SBM-LDS）は、テキストおよびDNA配列データにおいて、ベースラインのLDSおよびHMM手法よりも予測対数尤度が優れている。特に、より大きな語彙数およびより長いシーケンスで顕著な優位性を示した。
• 1000語語彙、4000語の抜粋を含む『アリスの不思議な冒険』データセットにおいて、SBM-LDSはHMMおよび他のLDSベースラインよりも顕著に高い予測尤度を達成した。
• SBM-LDSのギブスサンプリングによる推論は、同等のLNM-LDSでpMCMCベースの推論と比較して、潜在的軌跡の混合がはるかに効率的であるため、桁違いに高速であった。
• この手法は最適化されたHMM実装と同等の性能を達成しながらも、ガウス過程および線形動的システムソフトウェアスタックと完全に互換性を持つことを維持した。
• ポリア-ガンマ補完により、従来の単一サイト更新に依存する手法とは異なり、全スティックブレイキングベクトルに対するブロックギブスサンプリングが可能になった。その結果、収束が速く、推論効率が向上した。
• このフレームワークにより、解析的マージナライゼーションが可能となり、既存のガウス過程およびLDS推論ツールとのシームレスな統合が実現された。これにより、共変数や階層構造を含むモデルへのモジュラーな拡張が可能になった。