[論文レビュー] Bayesian Nonparametric Multilevel Clustering with Group-Level Contexts

Vu Nguyen, Dinh Phung+3 more|arXiv (Cornell University)|Jan 9, 2014

Bayesian Methods and Mixture Models参考文献 29被引用数 24

ひとこと要約

本稿では、グループレベルの文脈（例：著者、時刻）を活用することで、コンテンツデータ（例：文書内の単語）の多段階クラスタリングとグループレベルのクラスタリングを統合的に実行するベイジアン非パrametricモデルMC²を提案する。入れ子のディリクレ過程と積ベース測度を用いることで、トピック数やクラスタ数を自動的に推定しつつ、文脈を統合することで、テキストおよび画像ドメインにおけるトピック予測性とクラスタリング精度を向上させる。

ABSTRACT

We present a Bayesian nonparametric framework for multilevel clustering which utilizes group-level context information to simultaneously discover low-dimensional structures of the group contents and partitions groups into clusters. Using the Dirichlet process as the building block, our model constructs a product base-measure with a nested structure to accommodate content and context observations at multiple levels. The proposed model possesses properties that link the nested Dirichlet processes (nDP) and the Dirichlet process mixture models (DPM) in an interesting way: integrating out all contents results in the DPM over contexts, whereas integrating out group-specific contexts results in the nDP mixture over content variables. We provide a Polya-urn view of the model and an efficient collapsed Gibbs inference procedure. Extensive experiments on real-world datasets demonstrate the advantage of utilizing context information via our model in both text and image domains.

研究の動機と目的

• 既存のトピックモデルおよびクラスタリング手法がグループレベルの文脈情報を統合的に活用できないという限界を解決すること。
• 事前にクラスタ数やトピック数を指定せずに、コンテンツトピックとグループクラスタを同時に発見する統一フレームワークの構築。
• 推論プロセスに文脈データを統合することで、トピックモデリングおよびクラスタリングの性能を向上させること。
• 現実のデータにおける部分的な文脈情報欠損に対しても頑健性を確保すること。
• マージナル化の性質を通じて、入れ子のディリクレ過程（nDP）とディリクレ過程混合モデル（DPM）の理論的関係を確立すること。

提案手法

• 複数のレベルにおけるコンテンツおよび文脈観測を同時にモデル化するため、入れ子のディリクレ過程構造を有する積ベース測度を構築する。
• トピック数およびクラスタ数の非パラメトリック推定を可能にするために、ディリクル過程を構築の基盤として用いる。
• 潜在変数を統合することで、効率的な事後分布推論を実現するため、コラプスドギブスサンプリング手順を採用する。
• 共役性を容易にするために、補助変数 $b_k$, $t_k$, および $v$ を導入し、モデルにおけるガンマ-ガンマおよびベータ-ベルヌーイの共役性を処理する。
• クラスタリングおよびトピック割り当てプロセスの生成的解釈を提供するため、ポリアの壺表現を導出する。
• テストデータにおけるモデル評価のため、周囲度（perplexity）を計算するために重要度サンプリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン非パラメトリックモデルとして、グループレベルの文脈を活用しながら、同時にコンテンツトピックとグループクラスタを推論できるか？
• RQ2 文脈情報を統合することで、文脈に依存しないモデルと比較して、トピックモデリングおよびクラスタリングの品質がどのように向上するか？
• RQ3 文書長および文書数が、文脈を用いた場合のクラスタリング性能に与える影響は何か？
• RQ4 文脈情報が部分的に欠損している状況下でも、モデルはどのように性能を発揮するか？
• RQ5 本フレームワークにおいて、入れ子のディリクレ過程とディリクル過程混合モデルの間には、どのような理論的関係が存在するか？

主な発見

• MC²モデルは、文脈情報が利用可能な場合、ベースライン手法と比較して優れた文書クラスタリング性能を達成する。
• 文脈の統合により、テストデータにおける周囲度が低くなることから、より予測可能で一貫性のある語彙的トピックが得られる。
• 部分的な文脈情報欠損に対しても、モデルは頑健であり、強固なクラスタリングおよびトピックモデリング性能を維持する。
• 実世界のテキストおよび画像データセットを用いた実験により、文脈に配慮したモデリングがクラスタリングおよびトピックモデリングの両方の結果を向上させることを確認した。
• 理論的分析により、すべてのコンテンツデータをマージナル化すると文脈上でのDPMが得られ、グループレベルの文脈をマージナル化するとコンテンツ変数上でのnDPが得られることを確認した。これにより、モデルの構造的整合性が裏付けられた。