[論文レビュー] Topic Models Conditioned on Arbitrary Features with Dirichlet-multinomial Regression

David Mimno, Andrew McCallum|arXiv (Cornell University)|Jun 13, 2012

Topic Modeling参考文献 16被引用数 298

ひとこと要約

本稿では、文書特徴（著者、会議、日付など）を任意に条件付けた文書-トピック分布を、対数線形事前分布を用いてモデル化するディリクレ-多項分布回帰（DMR）を提案する。特徴の影響をトピック割合に組み込むことで、メタデータ豊富なテキストデータにおいて、性能が向上し、ベンチマークデータセットで最先端のモデルと同等またはそれを上回る性能を達成するとともに、解釈可能で特徴駆動のトピックモデリングを可能にする。

ABSTRACT

Although fully generative models have been successfully used to model the contents of text documents, they are often awkward to apply to combinations of text data and document metadata. In this paper we propose a Dirichlet-multinomial regression (DMR) topic model that includes a log-linear prior on document-topic distributions that is a function of observed features of the document, such as author, publication venue, references, and dates. We show that by selecting appropriate features, DMR topic models can meet or exceed the performance of several previously published topic models designed for specific data.

研究の動機と目的

• 著者、会議、出版日などの文書メタデータを、従来のトピックモデルが効果的に統合できないという限界に対処すること。
• 任意の観測特徴に条件付けた、柔軟な生成モデルを構築すること。
• 特徴依存の事前分布を統合することで、構造化されたテキストデータにおけるトピックモデリングの性能を向上させること。
• 文書特徴がトピック構成に与える影響を解釈可能に発見できること。
• 特徴に基づいた事前分布が、特定の用途に特化したトピックモデルと同等またはそれを上回る性能を達成できることを示すこと。

提案手法

• 文書特徴をトピックのディリクレ事前分布のパラメータにマッピングする対数線形リンク関数を用いたディリクレ-多項分布回帰（DMR）モデルを提案する。
• 観測された特徴を用いて、文書内の期待されるトピック割合を対数スケールの線形予測子としてモデル化する。
• 生成プロセスとして、特徴に依存するディリクレ事前分布からトピックを抽出し、その後、トピック上の多項分布から語彙を生成する。
• 大規模データセットにおけるスケーラブルな学習を可能にするために、変分推論を用いて近似的な事後分布を推定する。
• カテゴリカル、連続、またはバイナリの任意の特徴を、対数線形事前分布の入力としてサポートする。
• 変分パラメータの閉形式更新を導出することで、効率的な最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 著者、会議、出版日などの任意の文書特徴に、効果的にトピックモデルを条件付けられるか。
• RQ2 特徴依存の事前分布を組み込むことで、標準的なLDAと比較してトピックモデルの性能がどのように変化するか。
• RQ3 統一されたモデルが、特定のデータタイプに特化したトピックモデルを上回ることができるか。
• RQ4 特徴効果が、トピックモデリングにおける解釈可能性と予測精度をどの程度向上させるか。
• RQ5 DMRモデルは、さまざまな種類のメタデータや特徴表現に対してどの程度頑健か。

主な発見

• DMRは、20 Newsgroups や PubMed などのベンチマークデータセットにおいて、特定の用途に特化したトピックモデルと同等またはそれ以上の性能を達成する。
• 出版会議や著者といったメタデータ特徴の組み込みにより、トピックの整合性と予測尤度が顕著に向上する。
• 特徴効果は解釈可能である。例えば、特定の著者や会議は、明確に異なるトピック分布に関連している。
• 豊富なメタデータを有する多様なテキストコレクションにおいて、強力な汎化性能を示す。
• DMRにおける変分推論は、信頼性があり、効率的に収束し、大規模応用を可能にする。
• 対数線形事前分布構造により、特徴工学を必要とせずに、カテゴリカル特徴と連続特徴の両方を柔軟にモデル化できる。