[論文レビュー] Integrating Document Clustering and Topic Modeling

Pengtao Xie, Eric P. Xing|arXiv (Cornell University)|Sep 26, 2013

Topic Modeling参考文献 14被引用数 97

ひとこと要約

本論文は、クラスタ内におけるローカルトピックとクラスタ間のグローバルトピックを統合することで、文書クラスタリングとトピックモデリングを統合的に実行する包括的マルチグレインクラスタリングトピックモデル（MGCTM）を提案する。変分推論を用いることで、分離されたクラスタリングとトピックモデリングに比べ、より高いトピック一貫性とトピックとクラスタの整合性を達成した。

ABSTRACT

Document clustering and topic modeling are two closely related tasks which can mutually benefit each other. Topic modeling can project documents into a topic space which facilitates effective document clustering. Cluster labels discovered by document clustering can be incorporated into topic models to extract local topics specific to each cluster and global topics shared by all clusters. In this paper, we propose a multi-grain clustering topic model (MGCTM) which integrates document clustering and topic modeling into a unified framework and jointly performs the two tasks to achieve the overall best performance. Our model tightly couples two components: a mixture component used for discovering latent groups in document collection and a topic model component used for mining multi-grain topics including local topics specific to each cluster and global topics shared across clusters.We employ variational inference to approximate the posterior of hidden variables and learn model parameters. Experiments on two datasets demonstrate the effectiveness of our model.

研究の動機と目的

• 文書クラスタリングとトピックモデリングの間には強い相関関係があるものの、しばしば別個に実行されているという相乗的依存関係に対処すること。
• 標準的なトピックモデル（例：LDA）が、グローバルトピックとクラスタ固有のローカルトピックを区別できないという限界を克服すること。
• 語彙頻度にとどまらない意味的構造を捉えるために、トピックモデリングを活用してクラスタリング性能を向上させること。
• クラスタリングによって、コーパス全体のバックグラウンドトピックとグループ固有のトピックを分離することで、トピックの解釈性を向上させること。
• クラスタメンバーシップ、文書-トピック分布、およびトピックを同時に推論する包括的生成モデルを開発し、相互最適化を実現すること。

提案手法

• 各文書が、すべてのクラスタに共有されるグローバルトピックと、その割り当てられたクラスタ固有のローカルトピックの混合であるとみなす生成モデルを提案する。
• クラスタメンバーシップを潜在変数としてモデル化し、各クラスタごとのローカルトピックにディリクレ事前分布を適用する。
• すべての文書に対してグローバルトピックのトピック割合を制御する共通のディリクレ事前分布を用いる。
• 隠れ変数（クラスタメンバーシップ、トピック割り当て、トピック割合）の事後分布を近似するために変分推論を採用する。
• 単一の包括的フレームワーク内で、クラスタラベル、トピック分布、およびトピック-語分布を同時に推論する。
• クラスタリングとトピックモデリングを1つの確率的モデルに統合し、相互最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 文書クラスタリングとトピックモデリングを統合的にモデリングすることで、二つのタスクを別個に実行する場合に比べて性能が向上するか？
• RQ2 提案モデルは、クラスタ間で共有されるグローバルトピックと、各クラスタ固有のローカルトピックを効果的に区別できるか？
• RQ3 クラスタ構造をトピックモデリングに組み込むことで、より一貫性があり解釈可能なトピックが得られるか？
• RQ4 トピックモデリングが、文書の低次元で意味的豊かな表現を提供することで、クラスタリング性能を向上させられるか？
• RQ5 MGCTMの性能は、K-means + MGCTM や CTM といったベースライン手法と比較して、トピック一貫性およびクラスタ-トピック関連性の観点で優れているか？

主な発見

• 5名のアノテーターによる平均トピック一貫性スコアで、MGCTMは33.47%を達成したのに対し、K-means + MGCTMは27.83%、CTMは31.60%であった。
• ローカルトピックとそれに対応するクラスタ間の関連性測定値は、MGCTMで66.2%と高く、K-means + MGCTM（56.6%）やCTM（61.2%）に比べ有意に高い水準であった。
• モデルは、背景語（例：'reporting'、'acknowledging'）をグローバルトピックに、ドメイン固有語（例：'machine learning'、'financial economics'）をローカルトピックに効果的に分離した。
• 20 Newsgroupsデータセットを用いた実験では、MGCTMがベースライン手法よりも解釈可能で意味的に整合性の高いトピックを生成した。
• MGCTMにおける統合推論により、トピックモデリングがグループ化に使用される意味的表現を強化したため、より優れたクラスタリング性能が得られた。
• クラスタリングとトピックモデリングが包括的フレームワーク内で密接に統合されることで、互いに相乗効果をもたらすことがモデルによって示された。