[論文レビュー] Nonparametric Spherical Topic Modeling with Word Embeddings

Kayhan Batmanghelich, Ardavan Saeedi+2 more|arXiv (Cornell University)|Apr 1, 2016

Bayesian Methods and Mixture Models参考文献 15被引用数 9

ひとこと要約

本稿では、単語埋め込みを単位球面上にモデル化し、コサイン類似度を用いて意味的整合性を確保する非パrametricトピックモデル、spherical HDP (sHDP) を提案する。階層的ディリクレ過程と確率的変分推論を組み合わせることで、柔軟にトピック数を同定し、最先端のトピックコherenceを達成する。20 NewsgroupsおよびNIPSデータセットにおいて、HDPおよびガウス型LDAよりもそれぞれ65.5%および97.5%の性能向上を達成した。

ABSTRACT

Traditional topic models do not account for semantic regularities in language. Recent distributional representations of words exhibit semantic consistency over directional metrics such as cosine similarity. However, neither categorical nor Gaussian observational distributions used in existing topic models are appropriate to leverage such correlations. In this paper, we propose to use the von Mises-Fisher distribution to model the density of words over a unit sphere. Such a representation is well-suited for directional data. We use a Hierarchical Dirichlet Process for our base topic model and propose an efficient inference algorithm based on Stochastic Variational Inference. This model enables us to naturally exploit the semantic structures of word embeddings while flexibly discovering the number of topics. Experiments demonstrate that our method outperforms competitive approaches in terms of topic coherence on two different text corpora while offering efficient inference.

研究の動機と目的

• 従来のトピックモデルが言語の意味的規則性を捉えることの限界を解決すること。
• 分布的単語表現——特にコサイン類似度による意味的整合性——を確率的トピックモデリングに統合すること。
• トピック数を自動的に推定できる非パrametricトピックモデルを構築すること。
• カテゴリカル分布やガウス分布の尤度関数を、単語埋め込みに適した方向性分布に置き換えることで、トピックコherenceを向上させること。
• 大規模テキストコーパスにおいて、スケーラブルで効率的な推論を可能にするため、確率的変分推論を用いること。

提案手法

• モデルは、単語ベクトルを単位球面上の点とみなすとともに、トピックを方向的平均として扱うvon Mises-Fisher (vMF) 分布を尤度関数として用いる。
• 各トピックは平均方向μₖと集中パラメータκₖで表され、vMF密度は正規化定数を除きexp(κₖ μₖᵀ xₙ)に比例する。
• 基本となるトピックモデルは、無限個のトピックに対して非パrametric推論を可能にする階層的ディリクレ過程 (HDP) である。
• スケーラブルかつ効率的な後部分布近似のため、確率的変分推論 (SVI) が用いられる。
• 単語埋め込みは単位長に正規化され、コサイン類似度がvMFフレームワーク内での自然な意味的メトリクスとして機能する。
• 生成プロセスは、DPから抽出された文書固有のトピック割り当て確率分布に基づくカテゴリカル分布を介して、各単語にトピックを割り当てる。

実験結果

リサーチクエスチョン

• RQ1 von Mises-Fisher分布は、方向データとしての単語埋め込みを効果的にモデル化し、トピックコherenceを向上させることができるか？
• RQ2 カテゴリカル分布やガウス分布の尤度関数を、方向性尤度関数に置き換えることで、トピックモデリングにおける意味的整合性が向上するか？
• RQ3 HDPのような非パrametricベイジアンモデルを、vMFを用いて連続的単語埋め込みと効果的に統合できるか？
• RQ4 提案手法は、効率的な推論を維持しつつ、従来のトピックモデルを上回るトピックコherenceを達成できるか？
• RQ5 vMF尤度関数におけるコサイン類似度と、ガウス型LDAにおけるユークリッド距離のどちらが、トピックモデリングにおいて優れているか？

主な発見

• NIPSデータセットでは、sHDPが0.442のトピックコherenceスコアを達成し、ガウス型LDA (k=100) より0.174ポイント、HDPより0.172ポイント高い。
• 20 Newsgroupsデータセットでは、sHDPがコヒーレンス0.162を達成し、ガウス型LDA (k=100) より97.5%、HDPより65.5%の向上を示した。
• sHDPはNIPSデータセットで92つのトピック、20 Newsgroupsで16つのトピックを自動的に同定し、手動でのk設定なしにトピック発見が可能であることを示した。
• 表1のトップワード分析により、モデルは質的に一貫性があり意味的に整合性のあるトピックを生成していることが確認された。
• 確率的変分推論により収束が高速化され、sHDPは約5イテレーションで収束に達するが、ガウス型LDAははるかに長い時間を要する。
• 正規化された対数尤度プロットから、sHDPはガウス型LDAよりも迅速に収束することが示され、推論効率の優位性が裏付けられた。