[論文レビュー] Streaming Variational Inference for Bayesian Nonparametric Mixture Models

Alex Tank, Nicholas J. Foti+1 more|arXiv (Cornell University)|Dec 1, 2014

Bayesian Methods and Mixture Models参考文献 17被引用数 7

ひとこと要約

本稿では、正規化されたランダム測度（NRMs）に基づくベイジアン非パラメトリック混合モデルに対するストリーミング変分推論アルゴリズムを提案する。仮定密度フィルタリング（ADF）を用いることで、大規模なストリーミングデータに対して効率的かつ一回のパスでの推論が可能となる。この手法は、バッチMCMCやEPアルゴリズムと同等の性能を達成しており、特にクラスタ構造をより細かく捉えることができる、正規化一般化ガンマ過程（NGGP）のような柔軟な事前分布において優れた性能を発揮する。

ABSTRACT

In theory, Bayesian nonparametric (BNP) models are well suited to streaming data scenarios due to their ability to adapt model complexity with the observed data. Unfortunately, such benefits have not been fully realized in practice; existing inference algorithms are either not applicable to streaming applications or not extensible to BNP models. For the special case of Dirichlet processes, streaming inference has been considered. However, there is growing interest in more flexible BNP models building on the class of normalized random measures (NRMs). We work within this general framework and present a streaming variational inference algorithm for NRM mixture models. Our algorithm is based on assumed density filtering (ADF), leading straightforwardly to expectation propagation (EP) for large-scale batch inference as well. We demonstrate the efficacy of the algorithm on clustering documents in large, streaming text corpora.

研究の動機と目的

• ディリクレ過程を超える一般化されたストリーミング推論手法の欠如に応えること。
• 特に正規化されたランダム測度（NRMs）のようなより柔軟なベイジアン非パラメトリック事前分布へのストリーミング推論の拡張。
• 無限次元の性質を保ちつつ、逐次的かつメモリ効率の良い更新が可能な変分推論フレームワークの構築。
• バッチ手法が非現実的となる大規模で現実世界のストリーミングテキストデータにおいて、本手法の有効性を実証すること。
• クラスタサイズの柔軟性を有するNRM事前分布（例：NGGP）が、細かく分類されたクラスタ構造を捉えることで予測性能を向上させることを示すこと。

提案手法

• 本手法は、過去のデータの要約統計量のみに依存して、逐次的に事後分布の変分近似を更新するための仮定密度フィルタリング（ADF）を用いる。
• 一般NRMの予測分布を扱えるようにするための補助変数表現を活用し、モデル固有の近似を必要とせず、扱いやすい推論を可能にする。
• NRMに基づく混合モデルの中心的役割を果たす部分アンズ予測分布の近似を実施する。
• ADFフレームワークは、データを複数回走査可能な場合に高い精度を得られる、多パス期待値最大化（EP）バージョンへ自然に拡張可能である。
• 本手法は一般性に富み、特定化された場合にディリクレ過程の既存ストリーミングアルゴリズムに還元される。
• 本手法は、DPよりもクラスタサイズ分布の制御がきく、正規化一般化ガンマ過程（NGGP）を含む、柔軟なNRM事前分布をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ディリクレ過程を超えるベイジアン非パラメトリック混合モデルのための一般化されたストリーミング変分推論アルゴリズムを開発可能か？
• RQ2 正規化されたランダム測度（NRM）事前分布の無限次元構造をストリーミング推論設定でどのように保てるか？
• RQ3 正規化一般化ガンマ過程（NGGP）のようなより柔軟なNRM事前分布を用いることで、ディリクル過程と比較して大規模ストリーミングデータにおける予測性能が向上するか？
• RQ4 一回のパスでのストリーミングアルゴリズムが、ギブスサンプリングやEPのような計算コストの高いバッチ手法と同等の性能を達成できるか？
• RQ5 クラスタサイズの柔軟性が、大規模なテキストコーパスにおける洗練された潜在的構造のモデリングに与える影響は何か？

主な発見

• ADF-NRMアルゴリズムは、データを215回繰り返し処理するバッチギブスサンプリングとほぼ同等の予測対数尤度を達成しており、1回のパスでの処理で実現している。
• 10,000ドキュメントからなるKOSコーパスにおいて、NGGP事前分布を用いたADF-NRMは対数尤度-1.48を達成し、DPベースのADF-NRMを上回り、多パスEP-NRMに近い性能を示した。
• 30万ドキュメントのニューヨーク・タイムズコーパスにおいて、NGGP事前分布を用いたADF-NRMは、DPよりも約10個の追加の小さなクラスタを生成し、対数尤度を向上させるとともに、より細かく分類されたトピックを捉えた。
• 多パスEP-NRMバージョンは、ギブスサンプリングと同等の性能を達成しており、性能向上の大部分が最初のパスで達成されており、収束特性が優れていることが示された。
• NGGP事前分布を用いたADF-NRMから回復された主要トピックは解釈可能であり、『政治』や『スポーツ』といった意味的に整合性のあるテーマに対応しており、モデルが意味的に整合性のある構造を抽出できることを検証した。
• EP-NRMバージョンは、ADFフレームワークが多パス推論へ拡張可能であり、データアクセスが可能な場合に高精度な結果を得られることを示した。