[論文レビュー] textTOvec: Deep Contextualized Neural Autoregressive Topic Models of Language with Distributed Compositional Prior

Pankaj Gupta, Yatin Chaudhary+2 more|arXiv (Cornell University)|Oct 9, 2018

Topic Modeling参考文献 33被引用数 2

ひとこと要約

本稿では、LSTMベースの言語モデルと単語埋め込みを統合することで語順、構文、意味、長距離依存関係を捉えるニューラル自己回帰的トピックモデルであるctx-DocNADEおよびctx-DocNADEeを提案する。これにより、従来のトピックモデルが抱えるbag-of-wordsの制限を克服する。モデルは、特に短いまたはスパースなテキストデータセットにおいて、パープレクサリティ、トピックの整合性、検索および分類タスクの性能を顕著に向上させる。

ABSTRACT

We address two challenges of probabilistic topic modelling in order to better estimate the probability of a word in a given context, i.e., P(word|context): (1) No Language Structure in Context: Probabilistic topic models ignore word order by summarizing a given context as a "bag-of-word" and consequently the semantics of words in the context is lost. The LSTM-LM learns a vector-space representation of each word by accounting for word order in local collocation patterns and models complex characteristics of language (e.g., syntax and semantics), while the TM simultaneously learns a latent representation from the entire document and discovers the underlying thematic structure. We unite two complementary paradigms of learning the meaning of word occurrences by combining a TM (e.g., DocNADE) and a LM in a unified probabilistic framework, named as ctx-DocNADE. (2) Limited Context and/or Smaller training corpus of documents: In settings with a small number of word occurrences (i.e., lack of context) in short text or data sparsity in a corpus of few documents, the application of TMs is challenging. We address this challenge by incorporating external knowledge into neural autoregressive topic models via a language modelling approach: we use word embeddings as input of a LSTM-LM with the aim to improve the word-topic mapping on a smaller and/or short-text corpus. The proposed DocNADE extension is named as ctx-DocNADEe. We present novel neural autoregressive topic model variants coupled with neural LMs and embeddings priors that consistently outperform state-of-the-art generative TMs in terms of generalization (perplexity), interpretability (topic coherence) and applicability (retrieval and classification) over 6 long-text and 8 short-text datasets from diverse domains.

研究の動機と目的

• 従来のトピックモデルが語順や言語構造を無視するという制限を、ニューラル言語モデルを統合することで解消すること。
• 事前学習済み単語埋め込みを外部の知識事前分布として統合することで、スパースまたは短いテキストの低リソース環境下でのトピックモデルの性能を向上させること。
• 神経的自己回帰的トピックモデリングと文脈に基づく言語モデリングを統合的に扱う確率的フレームワークを構築し、より優れた意味表現を実現すること。
• 検索、分類、整合性指標の観点から、多様な長文および短文データセットにおいて提案モデルの性能を評価すること。

提案手法

• DocNADEに基づくニューラル自己回帰的トピックモデルとLSTMベースの言語モデル（LSTM-LM）を統合し、局所的な語句の連接パターンと文書レベルの全体的意味を同時にモデル化する。
• LSTM-LMの隠れ状態を用いてトピックモデルにおける単語確率推定を条件づけることで、文脈に依存した単語生成を可能にする。
• 低リソース環境下での単語-トピックマッピングの改善を目的として、事前学習済み単語埋め込みを入力事前分布として統合する。
• ctx-DocNADEeでは、単語埋め込みを構成的事前分布として用いることで、スパースまたは短いテキストコーパスにおける一般化性能を向上させる。
• トピック割り当てと言語モデリングを統合的に最尤推定により最適化する統一された確率的フレームワークを採用する。
• LSTM-LMの階層的表現を活用し、下位層で構文的特徴、上位層で意味的特徴を捉えることで、トピックモデリングを豊かにする。

実験結果

リサーチクエスチョン

• RQ1 ニューラル言語モデルをトピックモデルに統合することで、語順や意味構造を捉えることでP(単語|文脈)の推定性能が向上するか？
• RQ2 事前分布としての単語埋め込みの統合は、低リソースまたは短いテキスト環境下でのトピックモデル性能にどのように寄与するか？
• RQ3 トピックモデルと文脈に基づく言語モデルを統合することで、パープレクサリティの観点から最先端モデルに比べて一般化性能が向上するか？
• RQ4 提案モデルは、トピックの解釈可能性および検索や分類などの下流NLPタスクにおいて、どの程度向上をもたらすか？
• RQ5 訓練データのわずかな割合しか利用できない状況でも、モデルの性能向上を維持できるか？

主な発見

• TMNtitleデータセットにおいて、ctx-DocNADEeは20%の訓練データ割合でIR-精度0.580を達成し、DocNADEの0.444を上回った。
• 同じデータセットにおいて、ctx-DocNADEeは20%の訓練データでマクロ-F1スコア0.711を達成し、DocNADEの0.615を上回った。
• 100%の訓練データで、ctx-DocNADEeはIR-精度0.595、マクロ-F1スコア0.726を記録し、それぞれDocNADEの0.525および0.688を上回った。
• モデルはトピックの整合性と解釈可能性を向上させ、20NSデータセットにおいてctx-DocNADEeがDocNADEよりもより整合性の高いトピックを抽出した。
• テキスト検索において、ctx-DocNADEeはクエリと単語の一致がない文書をも含めて関連文書を効果的に検索でき、優れた意味的一般化性能を示した。
• 提案モデルは、7つの長文データセットおよび8つの短文データセットにおいて、パープレクサリティ、整合性、検索、分類タスクの全般で、最先端の生成的トピックモデルを一貫して上回った。