[論文レビュー] Sentence Level Recurrent Topic Model: Letting Topics Speak for Themselves

Fei Tian, Bin Gao+2 more|arXiv (Cornell University)|Apr 7, 2016

Topic Modeling参考文献 34被引用数 14

ひとこと要約

この論文では、LSTM や GRU などの再帰的ニューラルネットワーク（RNN）を活用して、文内の順序的な単語依存関係とトピックの一貫性を同時にモデル化する新しいトピックモデル、文単位再帰的トピックモデル（SLRTM）を提案する。単語生成を以前のすべての単語の履歴と文単位のトピック表現に条件づけることで、SLRTM は文書モデリングにおいて強力なベースラインを上回り、トピックから文への生成を可能にし、パーソナライズドな短文会話などの応用を可能にする。

ABSTRACT

We propose Sentence Level Recurrent Topic Model (SLRTM), a new topic model that assumes the generation of each word within a sentence to depend on both the topic of the sentence and the whole history of its preceding words in the sentence. Different from conventional topic models that largely ignore the sequential order of words or their topic coherence, SLRTM gives full characterization to them by using a Recurrent Neural Networks (RNN) based framework. Experimental results have shown that SLRTM outperforms several strong baselines on various tasks. Furthermore, SLRTM can automatically generate sentences given a topic (i.e., topics to sentences), which is a key technology for real world applications such as personalized short text conversation.

研究の動機と目的

• 文内の語順やトピックの一貫性を無視する従来のトピックモデルの限界を是正すること。
• 固定ウィンドウ型やマルコフ的アプローチよりも、文における順序的依存関係をより効果的にモデル化すること。
• パーソナライズドな短文会話などの応用を可能にする、トピックから文への生成（topic2sentence）を可能にすること。
• 長期的な順序的依存関係とトピックに配慮した依存関係を組み込むことで、文書分類および生成モデリングの性能を向上させること。

提案手法

• SLRTM は、文における単語生成が、以前のすべての単語の履歴とその文のトピック表現に依存するとモデル化する。
• RNN（LSTM や GRU など）を用いて単語の順序的文脈を符号化し、長期的依存関係を捉える。
• 文のトピックは、文内のすべての単語に共有される分散表現を持つ擬似単語として扱い、トピックの一貫性を保証する。
• 単語生成は、RNN の隠れ状態と文のトピック埋め込みを組み合わせた条件付き確率でモデル化する。
• 文の境界を示す EOS タグを含む文のコーパス上で、最大尤度推定を用いてエンドツーエンドでモデルを学習する。
• トピックから文への生成は、学習済みモデル分布からのランダムサンプリングまたはビームサーチによって実行する。

実験結果

リサーチクエスチョン

• RQ1 トピックモデルは、文内での順序的依存関係を効果的に捉えつつ、トピックの一貫性を維持できるか？
• RQ2 RNN を用いた順序的モデリングを組み込むことで、従来の bag-of-words トピックモデルと比較して、文書生成および分類性能がどの程度向上するか？
• RQ3 SLRTM は、与えられたトピックから、一貫性がありトピックに敏感な文をどの程度生成できるか？
• RQ4 SLRTM は、パーソナライズドな対話システム向けに自然な響きの文を効果的に生成できるか？

主な発見

• テストセットの perplexity において、SLRTM は強力なベースラインを上回り、優れた文書モデリング能力を示した。
• 文書分類タスクにおいても、より良い表現が学習されていることが示された。
• 定性的な結果から、ランダムサンプリングおよびビームサーチによる生成文は、それぞれのトピックと意味的に一貫していることがわかった。
• ランダムサンプリングはより多様なが、ときには文法的に誤りのある文を生成するが、ビームサーチは文法的に安全なが、多様性に欠ける出力を得た。
• モデルは、推論されたトピックと一致するトピック関連キーワード（例：'elections'、'parliament'、'film'、'bishop'）を効果的に生成した。
• SLRTM はトピックから文への生成を可能にし、パーソナライズドな短文会話システムなどの実世界の応用における可能性を示した。