[論文レビュー] A Split-Merge MCMC Algorithm for the Hierarchical Dirichlet Process

Chong Wang, David M. Blei|arXiv (Cornell University)|Jan 8, 2012

Bayesian Methods and Mixture Models参考文献 15被引用数 40

ひとこと要約

本稿では、階層的ディリクレ過程（HDP）トピックモデルにおける事後分布推論のためのスプリット・マージMCMCアルゴリズムを提案する。従来のギブスサンプリングに比べ、文書間のトピック割り当てを大規模に再構成できる点で改善が図られ、バーンイン段階での収束が著しく高速化される。特にトピックが重複するか類似しているコーパスでは、標準的なギブスサンプリングよりも速くより良い対数尤度モードに到達する。

ABSTRACT

The hierarchical Dirichlet process (HDP) has become an important Bayesian nonparametric model for grouped data, such as document collections. The HDP is used to construct a flexible mixed-membership model where the number of components is determined by the data. As for most Bayesian nonparametric models, exact posterior inference is intractable---practitioners use Markov chain Monte Carlo (MCMC) or variational inference. Inspired by the split-merge MCMC algorithm for the Dirichlet process (DP) mixture model, we describe a novel split-merge MCMC sampling algorithm for posterior inference in the HDP. We study its properties on both synthetic data and text corpora. We find that split-merge MCMC for the HDP can provide significant improvements over traditional Gibbs sampling, and we give some understanding of the data properties that give rise to larger improvements.

研究の動機と目的

• HDPトピックモデルにおけるギブスサンプリングの混合が遅いため、1単語ずつトピックを更新する方式の改善。
• 上位レベルのトピックグループにおけるスプリット・マージ操作を用いることで、HDPにおける事後分布推論の効率を向上。
• スプリット・マージMCMCが標準的なギブスサンプリングを上回る条件とその理由を調査。
• 特にトピック類似度とトピックスパarsity（スパarsity）といったデータ特性が、スプリット・マージ移動による性能向上に与える影響を理解。

提案手法

• アルゴリズムは、HDPのチャイニーズレストランフランチャイズ（CRF）表現に基づく。ここで文書は「顧客」、トピックは複数のグループにまたがる「料理」と見なされる。
• 各イテレーションで2つの文書をランダムに選択。同じトピックグループに属する場合、スプリットが提案される。異なるグループに属する場合、マージが提案される。
• 詳細なバランスを保つために、メトロポリス・ハスティングス比を用いてスプリットおよびマージ移動を受理または拒否。
• 本手法は、文書レベルではなく上位レベル（トピックグループレベル）でのみ動作する。これによりHDPの混合-membership構造が保持される。
• ステップ数の最初の50イテレーション間でのみスプリット・マージ操作を適用し、後段階での定常分布の破壊を避ける。
• ハイパーパrameter γ と α には、ガンマ(1,1)の事前分布を割り当て、η を変化させてトピックスパarsityを制御。

実験結果

リサーチクエスチョン

• RQ1 どのようなデータ条件下でスプリット・マージMCMCがHDPトピックモデルにおける標準的なギブスサンプリングを上回るか？
• RQ2 文書間のトピック類似度は、スプリット・マージ移動の効果にどのように影響するか？
• RQ3 トピックスパarsity（ηで制御）は、スプリット・マージ操作の成功確率と収束速度にどのような影響を与えるか？
• RQ4 実世界のテキストコーパスにおいて、スプリット・マージアルゴリズムはギブスサンプリングと比較して、単語ごとの対数尤度およびホールドアウト尤度の観点でどのように異なるか？

主な発見

• ML+IRコーパスではη=0.2およびη=0.5の条件下で、スプリット・マージMCMCはギブスサンプリングよりも速くより良い対数尤度モードに到達した。一方、ARXIVおよびNIPSでは、同様の条件でのみ改善が観察された。
• スプリット・マージMCMCは、提案された移動のうち約3％の高い受理率を達成しており、状態空間の適切な探索が行われていることが示唆された。
• トピック類似度の高いコーパス、特にML+IR（テストデータセットの中で最も高いトピックコサイン類似度を示す）では、顕著な改善が見られた。
• η=0.2およびη=0.5の条件下ではトピック数が中程度に保たれ、より情報量の多いトピックグループが形成され、スプリット・マージ操作に適したガイドラインが得られた。
• ARXIVおよびNIPSではトピックが互いに類似度が低く、スプリット・マージには一貫した利点が認められなかった。これは、重複するトピック構造が性能向上の鍵であることを示唆している。
• すべてのケースにおいて、ギブス+SMとギブスサンプリングの最終モードは同等であった。これは、スプリット・マージが最終的な正確性を損なわずに収束を改善することを示している。