[論文レビュー] Practical Collapsed Stochastic Variational Inference for the HDP

Arnim Bleier|arXiv (Cornell University)|Dec 2, 2013

Bayesian Methods and Mixture Models参考文献 5被引用数 7

ひとこと要約

本稿では、階層ディリクレ過程（HDP）に対する実用的な崩壊型確率的変分推論アルゴリズムであるPCSVCB0を提案する。このアルゴリズムは、単語を逐次処理し、リアルタイムで十分統計を更新することで、オンラインかつメモリ効率の良い推論を実現する。TREC-1データセットにおける低いパープレキシティを示すことで、従来のバッチ法およびオンライン法よりも優れた予測性能を達成しており、収束速度も速い。

ABSTRACT

Recent advances have made it feasible to apply the stochastic variational paradigm to a collapsed representation of latent Dirichlet allocation (LDA). While the stochastic variational paradigm has successfully been applied to an uncollapsed representation of the hierarchical Dirichlet process (HDP), no attempts to apply this type of inference in a collapsed setting of non-parametric topic modeling have been put forward so far. In this paper we explore such a collapsed stochastic variational Bayes inference for the HDP. The proposed online algorithm is easy to implement and accounts for the inference of hyper-parameters. First experiments show a promising improvement in predictive performance.

研究の動機と目的

• オンライン学習をサポートし、メモリ使用量を低減する効率的かつスケーラブルなHDP-LDAモデルの推論アルゴリズムの開発を目的とする。
• 従来、提案がなかった非パラメトリックなHDPフレームワークに、崩壊型確率的変分推論を効果的に拡張することを目的とする。
• 計算効率とスケーラビリティを維持したまま、ハイパーパrameter α と γ の共同推論を可能とすることを目的とする。
• バッチ法およびオンライン法のベースラインと比較して、パープレキシティおよび収束速度の観点で、より優れた予測性能を実現することを目的とする。

提案手法

• アルゴリズムは1単語ずつ処理し、走る推定値としてトピックおよび単語-トピックカウントを維持するための確率的更新ルールを用いる。
• θ および φ を周辺化する崩壊型変分推論方式を採用し、個々の割り当てを保存せずに、現在の統計に基づいてトピック割り当て分布 q(z_di = k) を更新する。
• トピック割り当ての主要な更新式は q(z_di = k) ∝ (n_{dk} + απ_k) * (n_{kw_di} + β) / (n_{k.} + Vβ) であり、n_{dk}、n_{kw}、n_{k.} は走る期待値カウントである。
• トピックの全体的頻度 π_k は、推定されたインジケータ関数 E[1(n_{dk} ≥ 1)] を用いたスティックバーキングプロセスにより更新され、指数的減衰を用いた適応的更新が行われる。
• ハイパーパrameter α と γ は、ディガマ関数に基づく反復的で確率的な近似と、文書-トピック存在の実測値に基づく更新により更新される。
• すべての更新成分に、ρ_t = s / (τ + t)^0.9 のステップサイズスケジュールが用いられ、文書レベル、コーパスレベル、ハイパーパrameter更新の各々に別々のスケジュールが設定されている。

実験結果

リサーチクエスチョン

• RQ1 崩壊型確率的変分推論は、非パラメトリックなHDP-LDAモデルに効果的に拡張可能か？
• RQ2 提案されたオンラインで記憶効率の良いアルゴリズムは、バッチ法や既存のオンライン法よりも優れた予測性能を達成するか？
• RQ3 確率的でオンラインな設定において、ハイパーパrameter α と γ の共同推論を信頼性高く実現できるか？
• RQ4 実世界のテキストデータにおいて、提案手法の収束速度および最終的なパープレキシティは、SCVB0およびPCVB0と比較してどうなるか？

主な発見

• PCSVCB0はTREC-1データセットにおいて、SCVB0およびPCVB0と比較して低いパープレキシティを達成しており、優れた予測性能を示している。
• アルゴリズムは、ベースライン手法と比較して、より少ないイテレーションで低いパープレキシティ値に到達するという、高速な収束を示した。
• スティックバーキングプロセスの実用的下界近似の使用により、完全な分散追跡を必要とせずに、安定的かつ効率的な推論が可能になった。
• 個々のトピック割り当てを保存せず、十分統計を段階的に更新することで、低メモリ使用量を維持した。
• ステップサイズスケジュール ρ_t = s / (τ + t)^0.9 により、モデルのすべての成分で安定した収束が達成された。
• オンラインでハイパーパrameter α と γ を推論することができ、ストリーミングデータへのモデルの適応性が向上した。