[論文レビュー] MetaLDA: a Topic Model that Efficiently Incorporates Meta information

He Zhao, Lan Du+2 more|arXiv (Cornell University)|Sep 19, 2017

Topic Modeling被引用数 3

ひとこと要約

MetaLDA は、データ拡張によって得られる完全な局所的共役性により、ラベル、カテゴリ、単語埋め込みなどの文書および単語のメタ情報（メタ情報）を効率的に統合するトピックモデルであり、高速なギブスサンプリングを可能にする。特にスパースなテキストにおいて、優れたトピック品質と低いパープレキシティを達成する一方で、既存のメタ情報拡張モデルよりも著しく高速に動作する。

ABSTRACT

Besides the text content, documents and their associated words usually come with rich sets of meta informa- tion, such as categories of documents and semantic/syntactic features of words, like those encoded in word embeddings. Incorporating such meta information directly into the generative process of topic models can improve modelling accuracy and topic quality, especially in the case where the word-occurrence information in the training data is insufficient. In this paper, we present a topic model, called MetaLDA, which is able to leverage either document or word meta information, or both of them jointly. With two data argumentation techniques, we can derive an efficient Gibbs sampling algorithm, which benefits from the fully local conjugacy of the model. Moreover, the algorithm is favoured by the sparsity of the meta information. Extensive experiments on several real world datasets demonstrate that our model achieves comparable or improved performance in terms of both perplexity and topic quality, particularly in handling sparse texts. In addition, compared with other models using meta information, our model runs significantly faster.

研究の動機と目的

• 文書および単語に関連する豊富なメタ情報を無視する従来のトピックモデルの限界を解消すること。
• 特に短いテキストのような単語共起頻度が低い状況において、トピックモデリングの精度と一貫性を向上させること。
• 文書レベルおよび単語レベルのメタ情報を同時に活用できるスケーラブルで効率的な推論アルゴリズムを開発すること。
• パフォーマンスを犠牲にすることなく、既存のメタ情報拡張トピックモデルよりも高速な学習を達成すること。
• 二値または実数値のメタ情報タイプを柔軟にトピックモデリングフレームワークに統合できること。

提案手法

• MetaLDA は、完全な局所的共役性を達成するためのデータ拡張技術を用い、効率的な推論のための閉形式ギブスサンプリングを可能にする。
• 文書のメタ情報はトピック分布の事前分布を通じて統合され、類似したラベルを持つ文書は同じディリクレ事前分布を持つ。
• 単語のメタ情報は、トピックごとの単語分布の事前分布に統合され、意味的に類似した単語が類似したトピック重みを持つよう促進される。
• モデルは文書および単語のメタ情報を同時に使用でき、各モalityごとに別個の推論手順を実装する。
• 計算複雑度を低減するため、スパースキャッシュ戦略が適用され、特に文書レベルのメタ情報を利用した場合に有効である。
• 大規模データセットにおけるスケーラビリティを実現するため、並列化を DistrubutedLDA フレームワークを介して活用する。

実験結果

リサーチクエスチョン

• RQ1 文書レベルおよび単語レベルのメタ情報を同時に統合することで、スパースなテキストにおけるトピックモデルのパフォーマンスが向上するか？
• RQ2 MetaLDA の推論効率は、既存のメタ情報拡張トピックモデルと比較してどの程度優れているか？
• RQ3 メタ情報の使用が、単語共起データが限られている状況でも、より高いトピックの一貫性と低いパープレキシティをもたらすか？
• RQ4 同程度のモデルと比較して、著しく高速な推論を維持しながらも高いパフォーマンスを発揮できるか？
• RQ5 トピック数の増加および大規模データセットにおけるスケーリングの観点から、モデルの性能はどのようになるか？

主な発見

• WS および AN データセットにおいて、MetaLDA は最高の NPMI スコアを達成し、特に低品質なトピックを除外した後でも優れたトピックの一貫性を示した。
• TMN データセットでは、MetaLDA の NPMI スコアは平均的に最高であったが、標準偏差の重なりにより統計的に有意な差は認められなかった。
• Reuters データセットにおいて、文書メタ情報のみを用いた場合、MetaLDA は DMR より 6〜8 倍高速であった。
• WS データセットにおいて、単語メタ情報を利用した場合、MetaLDA は WF-LDA や LF-LDA より 20〜30 倍高速であり、トピック数が増加するにつれてその差が顕著になった。
• 大規模な NYT データセットにおいて、MetaLDA は並列環境下でも速度優位性を維持し、1イテレーションあたりの実行時間で DMR、LF-LDA、WF-LDA を上回った。
• 特に単語数が少ない短いテキストのような低データ環境において、MetaLDA はベースラインモデルよりも低いパープレキシティと優れたトピック品質を達成した。