[論文レビュー] Exact slice sampler for Hierarchical Dirichlet Processes

Arash A. Amini, Marina Silva Paez+2 more|arXiv (Cornell University)|Mar 21, 2019

Bayesian Methods and Mixture Models参考文献 5被引用数 5

ひとこと要約

本稿では、無限次元の階層的測度からのサンプリングにおける課題を克服した、階層的ディリクレ過程（HDP）の最初の正確なスライスサンプラーを提示する。ベイジアン変数拡張を用いることで、結合事後分布の完全な要因分解を可能にし、高速な混合、自然な切断、並列処理の効率化を達成した。合成データおよび実世界のトピックモデリング実験において、迅速な収束が確認された。

ABSTRACT

We propose an exact slice sampler for Hierarchical Dirichlet process (HDP) and its associated mixture models (Teh et al., 2006). Although there are existing MCMC algorithms for sampling from the HDP, a slice sampler has been missing from the literature. Slice sampling is well-known for its desirable properties including its fast mixing and its natural potential for parallelization. On the other hand, the hierarchical nature of HDPs poses challenges to adopting a full-fledged slice sampler that automatically truncates all the infinite measures involved without ad-hoc modifications. In this work, we adopt the powerful idea of Bayesian variable augmentation to address this challenge. By introducing new latent variables, we obtain a full factorization of the joint distribution that is suitable for slice sampling. Our algorithm has several appealing features such as (1) fast mixing; (2) remaining exact while allowing natural truncation of the underlying infinite-dimensional measures, as in (Kalli et al., 2011), resulting in updates of only a finite number of necessary atoms and weights in each iteration; and (3) being naturally suited to parallel implementations. The underlying principle for joint factorization of the full likelihood is simple and can be applied to many other settings, such as designing sampling algorithms for general dependent Dirichlet process (DDP) models.

研究の動機と目的

• 文献にまだ存在しなかった階層的ディリクレ過程（HDP）の完全な正確なスライスサンプラーの開発を目的とする。
• HDPに内在する無限次元測度からのサンプリングを、恣意的な切断や近似を用いずに実現する課題に取り組む。
• ベイジアン変数拡張を活用して、HDP混合モデルにおける効率的かつ並列処理可能なMCMC推論を可能にする。
• スライスサンプリングにおける依存ディリクレ過程モデルの一般化・アクセスしやすいフレームワークを提供すること。

提案手法

• HDPにおける結合事後分布の完全な要因分解を達成するため、ベイジアン変数拡張による潜在変数の導入を行う。
• 事後更新を簡素化し、正確なスライスサンプリングを可能にする、連合密度の要因分解を導出する。
• スライスサンプリングを用いて、潜在変数と切断レベルを同時に更新し、各反復で必要なみだいのみを更新することを保証する。
• ガウスおよび多項分布の尤度を伴うHDP混合モデルにこのサンプラーを適用し、原子およびクラスタ割り当ての共役事後分布を導出する。
• 自然な切断を実装し、各反復で有限の計算コストを維持しながら正確性を保つアルゴリズムを実装する。
• 要因分解された事後分布を活用して、グループおよびクラスタごとに独立して計算可能な効率的かつ並列処理可能な更新を実現する。

実験結果

リサーチクエスチョン

• RQ1 HDPの無限次元的階層的構造を考慮しても、正確なスライスサンプラーを構築することは可能か？
• RQ2 HDPの階層的性質を、特に自動的切断を要件とするスライスサンプリングとどのように調和させられるか？
• RQ3 ベイジアン変数拡張は、HDPスライスサンプリングにおける完全な事後分布の要因分解をどのように可能にするか？
• RQ4 提案されたサンプラーは、HDPにおける既存のギブスサンプルおよびスプリット・マージMCMC手法と比較して、混合速度および収束性において優れているか？
• RQ5 導出された連合要因分解は、他の依存ディリクレ過程モデルへ一般化可能か？

主な発見

• 提案されたスライスサンプラーは高速な混合を達成し、合成データでは10～20反復で正規化相互情報量（NMI）が近似的に最適水準に達した。
• J=894ドキュメントからなる実世界の論文題名データセットにおいて、100反復後にNMI ≈ 0.35–0.4を達成し、真のトピックラベルの効果的な回復が示された。
• アルゴリズムは、各反復で必要なみだいのみを更新することで、無限測度の自然な切断を実現し、正確性を維持した。
• 連合事後分布の要因分解により、直感的かつ計算的に効率的な更新が可能であり、ガウスおよび多項分布の尤度に対して共役事後分布が導出可能である。
• この手法は本質的に並列処理可能であり、異なるグループやクラスタの更新を独立して計算できる。
• このアプローチはHDP混合モデルにとどまらず、混合尤度を置き換えることで、他のモデルに対しても効率的なサンプリングを可能にする。