[論文レビュー] Twitter-Network Topic Model: A Full Bayesian Treatment for Social Network and Text Modeling

Kar Wai Lim, Changyou Chen+1 more|arXiv (Cornell University)|Sep 22, 2016

Topic Modeling参考文献 22被引用数 43

ひとこと要約

本稿では、短くノイズの多いツイートとそれらに関連するソーシャルネットワーク構造を、テキストにハイアラルヒカル・ポアソン・ディリクレ過程（HPDP）を、フォロワー・ネットワークにガウス過程（GP）の確率的関数を用いて統合的にモデル化する、完全ベイジアン非パrametric手法であるTwitter-Network（TN）トピックモデルを提案する。この手法は、従来のモデルよりも顕著に優れたトピックの整合性を示し、著者推薦やハッシュタグ提案といった新たな応用も可能にした。ベースラインモデル比で266.0の対数尤度の向上を達成した。

ABSTRACT

Twitter data is extremely noisy -- each tweet is short, unstructured and with informal language, a challenge for current topic modeling. On the other hand, tweets are accompanied by extra information such as authorship, hashtags and the user-follower network. Exploiting this additional information, we propose the Twitter-Network (TN) topic model to jointly model the text and the social network in a full Bayesian nonparametric way. The TN topic model employs the hierarchical Poisson-Dirichlet processes (PDP) for text modeling and a Gaussian process random function model for social network modeling. We show that the TN topic model significantly outperforms several existing nonparametric models due to its flexibility. Moreover, the TN topic model enables additional informative inference such as authors' interests, hashtag analysis, as well as leading to further applications such as author recommendation, automatic topic labeling and hashtag suggestion. Note our general inference framework can readily be applied to other topic models with embedded PDP nodes.

研究の動機と目的

• 従来のトピックモデル（例：LDA）が性能を低下させる短くノイズの多い非公式なツイートを効果的にモデリングする課題に対処すること。
• ハッシュタグ、著者情報、フォロワー・ネットワークといった補助的ソーシャルメディア信号を活用し、トピックモデリングの精度と柔軟性を向上させること。
• 事前にトピック数を指定しない完全ベイジアン非パラメトリックフレームワークを構築し、動的推論を可能にすること。
• 統合されたソーシャルおよびテキスト信号を用いて、著者推薦、自動トピックラベル付け、ハッシュタグ提案といった新たな応用を可能にすること。
• 新しいHPDPベースのトピックモデルバリアントの迅速な展開を可能にする汎用的な推論フレームワークを提供すること。

提案手法

• 本モデルは、ドキュメント-トピックおよび語-トピック分布をモデリングするため、ハイアラルヒカル・ポアソン・ディリクレ過程（HPDP）を用い、自然言語における語の頻度のパワー・ロー分布を捉える。
• ソーシャルネットワーク構造を表現するために、ガウス過程（GP）の確率的関数モデルを採用し、著者間のフォロワー関係を著者上での非パラメトリック関数としてモデル化する。
• 著者情報がテキストとネットワークのコンポonentを結びつける。これにより、トピック分布がドキュメントおよび社会的つながりを跨いで共有可能になる。
• 非パラメトリック事前分布を用いた完全ベイジアン処理により、手動でのチューニングなしにトピック数の自動推論が可能になる。
• 埋め込みPDPノードを内蔵した新しいトピックモデルバリアントの迅速なプロトタイピングと展開を可能にする柔軟な推論フレームワークを開発した。
• 後方分布推論は、統合的なテキスト-ネットワーク構造に特化した畳み込みギブスサンプリングアルゴリズムを用いて実行された。

実験結果

リサーチクエスチョン

• RQ1 テキストとソーシャルネットワークデータを統合した共同ベイジアンモデルは、短くノイズの多いツイートにおけるトピックモデリング性能を向上させることができるか？
• RQ2 ハイアラルヒカル・ポアソン・ディリクレ過程とガウス過程を用いることで、パラメトリックまたは標準的な非パラメトリックモデルと比較して、トピックの整合性とモデルの柔軟性がどのように向上するか？
• RQ3 ハッシュタグ、著者情報、フォロワー・ネットワークといった補助信号は、著者推薦やトピックラベリングといった後続タスクの性能をどの程度向上させるか？
• RQ4 提案されたフレームワークは、対数尤度とクラスタリング指標の観点から、既存の非パラメトリックトピックモデルよりも優れた性能を示すか？
• RQ5 このモデルは、ブログや出版ネットワークといったTwitter以外のデータタイプに対しても一般化可能か？

主な発見

• TNトピックモデルはテストセットで208.4 ± 3.2の対数尤度を達成し、ベースラインモデル（218.4 ± 4.0）およびネットワーク情報なしのモデル（280.8 ± 15.4）を著しく上回り、優れたモデル適合を示した。
• トピックの整合性とクラスタリング性能が向上し、純度、正規化相互情報量、およびポイントワイズ相互情報量（PMI）の観点で、最先端のLDAベース手法を上回った。
• トピックごとの上位ハッシュタグの90％以上が、トピックラベルとして強い候補であった。これは、自動トピックラベリングの有効性を示している。
• TNモデルの著者推薦用カーネル関数は、上位推薦著者との平均コサイン類似度が0.78を記録した。これに対して元のカーネルでは0.00であったため、推薦品質の顕著な向上が確認された。
• アブレーションスタディの結果、テキストモデリング、ネットワークモデリング、ハッシュタグ統合という各コンポーネントが、全体の性能向上に有意に寄与していることが確認された。
• フレームワークは、モデルの複雑さにもかかわらず、効率的な推論と新しいHPDPベースのトピックモデルバリアントの迅速な展開を可能にした。