[論文レビュー] Latent Topic Models for Hypertext

Amit Gruber, Michal Rosen‐Zvi+1 more|arXiv (Cornell University)|Jun 13, 2012

Topic Modeling参考文献 5被引用数 10

ひとこと要約

本稿では、リンクを単語と同様に扱うのではなく、トピックの関連性とドキュメントのインデグリーに依存してリンク作成を明示的にモデル化する、ハイパーテキスト向けの新しい確率的生成モデルを提案する。リンクをターゲットドキュメント内のトピック頻度とインデグリーに依存させるアプローチにより、パラメータ数を削減し、単語-リンク類似性手法と比較して優れたリンク予測性能を達成する。

ABSTRACT

Latent topic models have been successfully applied as an unsupervised topic discovery technique in large document collections. With the proliferation of hypertext document collection such as the Internet, there has also been great interest in extending these approaches to hypertext [6, 9]. These approaches typically model links in an analogous fashion to how they model words - the document-link co-occurrence matrix is modeled in the same way that the document-word co-occurrence matrix is modeled in standard topic models. In this paper we present a probabilistic generative model for hypertext document collections that explicitly models the generation of links. Specifically, links from a word w to a document d depend directly on how frequent the topic of w is in d, in addition to the in-degree of d. We show how to perform EM learning on this model efficiently. By not modeling links as analogous to words, we end up using far fewer free parameters and obtain better link prediction results.

研究の動機と目的

• 文書-単語共起行列におけるリンクを単語と同様に扱う既存のトピックモデルの限界を解消すること。
• リンク生成プロセスを明示的に捉えることで、ハイパーテキストドキュメントコレクションをより正確かつ効率的にモデル化する手法の開発。
• 単語-リンク類似性を避けることで、ハイパーテキストトピックモデルにおける自由パラメータ数を削減すること。
• リンク形成の整合的な生成モデルを通じて、リンク予測性能の向上を図ること。

提案手法

• リンクが単語からドキュメントへと生成されるプロセスを、その単語がドキュメント内でどのトピック頻度を持つか、およびドキュメントのインデグリーに依存して決定する生成モデルを提案。
• リンク生成を、ターゲットドキュメントのトピック分布とドキュメントのインデグリーに条件付きで依存させることで、リンクを単語と共起すると見なすのではなく、明示的にモデル化。
• 効率的なパラメータ学習を可能にするためにEMアルゴリズムを採用し、大規模なハイパーテキストコレクションにおけるスケーラブルな推論を実現。
• 単語、トピック、リンクの間の結合確率モデルを導入。トピック割り当てはディリクレ事前分布から抽出。
• EMのEステップにおいて、トピック割り当てとリンク確率を推定するために、コロケートド・ギャブスサンプリングの変種を採用。
• リンク予測を従来タスクとして扱い、AUCおよび精度指標を用いてモデル性能を評価。

実験結果

リサーチクエスチョン

• RQ1 ハイパーテキストのリンク構造を、リンクを単語と同様に扱うのではなく、より正確にモデル化する方法は何か？
• RQ2 トピック関連性とインデグリーを明示的にモデル化することで、リンク予測性能にどのような影響を与えるか？
• RQ3 単語-リンク類似性を避ける生成モデルは、パラメータ数を削減しつつ性能を向上させられるか？
• RQ4 標準的なトピックモデルをハイパーテキストに拡張した場合と比較して、提案モデルのリンク予測精度はどの程度か？
• RQ5 ドキュメントのインデグリーは、トピックモデリングフレームワーク内でのリンク予測性能向上にどのような役割を果たすか？

主な発見

• 提案モデルは、リンクを単語と同様に扱うモデルと比較して、顕著に優れたリンク予測性能を達成した。
• トピック頻度とインデグリーに基づいてリンクをモデル化することで、単語-リンク類似性アプローチと比較して自由パラメータ数を削減した。
• ベンチマーク用ハイパーテキストデータセットにおいて、リンク予測タスクでAUCおよび精度の両面で改善を示した。
• EMに基づく学習手順は効率的に収束し、大規模なハイパーテキストコレクションへの応用が可能となった。
• リンクの明示的な生成モデル化により、単語共起を間接的にモデル化する手法よりも、解釈可能性と正確性の両面で優れた予測が得られた。