[論文レビュー] Dynamic and Static Topic Model for Analyzing Time-Series Document Collections

Rem Hida, Naoya Takeishi+2 more|arXiv (Cornell University)|May 6, 2018

Advanced Text Analysis Techniques参考文献 8被引用数 3

ひとこと要約

本稿では、時系列文書コレクションにおけるトピックの時間的変化と階層的トピック依存関係を同時にモデル化する動的・静的トピックモデル（DSTM）を提案する。複数の過去トピックからの動的トピック遷移と静的トピック階層を統合することで、DSTMはパープレキシティにおいて優れた性能を発揮し、解釈可能なトピック構造を明らかにし、科学論文データセットにおいてLDA、PAM、DRTMを上回る性能を示した。

ABSTRACT

For extracting meaningful topics from texts, their structures should be considered properly. In this paper, we aim to analyze structured time-series documents such as a collection of news articles and a series of scientific papers, wherein topics evolve along time depending on multiple topics in the past and are also related to each other at each time. To this end, we propose a dynamic and static topic model, which simultaneously considers the dynamic structures of the temporal topic evolution and the static structures of the topic hierarchy at each time. We show the results of experiments on collections of scientific papers, in which the proposed method outperformed conventional models. Moreover, we show an example of extracted topic structures, which we found helpful for analyzing research activities.

研究の動機と目的

• 従来のトピックモデルが動的または静的トピック構造のいずれかしか考慮しないという限界を解消するため。
• 文書コレクションにおける時間的依存関係と階層的トピック関係を統合することで、トピックモデルの解釈可能性とモデリング精度を向上させるため。
• 科学文献およびニュースアーカイブにおける研究動向やトピックの進化をより良い分析を可能にするため。
• 時間経過にわたる複数トピックの依存関係と、各時刻におけるトピック階層を捉える統一された確率的フレームワークを構築するため。

提案手法

• DSTMは、時刻tにおけるトピック-語分布を、時刻t-1のトピック-語分布の重み付き和としてモデル化する動的構造を用いる。重みβtは複数の過去トピックからの依存関係を捉える。
• 静的構造は階層的事前分布によりモデル化される：各時刻におけるスーパー・トピックがサブトピックを支配し、パラメータαstがサブトピック間関係の強度を制御する。
• 生成プロセスでは、語がサブトピックに、サブトピックがスーパー・トピックに、そしてスーパー・トピックが文書に割り当てられ、時間依存のトピック分布が用いられる。
• 推論と学習には変分ベイズ推論が用いられ、周辺尤度の変分下界を最適化する。
• 反復的最適化により、動的遷移重みβtと静的階層重みαstを同時に学習する。
• 本手法はトピックモデリングとトピック構造抽出の両方をサポートし、進化するおよび階層的なトピック関係の可視化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 時系列文書コレクションにおいて、トピックモデルが動的トピックの進化と静的トピック階層を同時に捉えることは可能か？
• RQ2 動的構造と静的構造を併せてモデル化することで、単一の構造のみを考慮するモデルと比較して、トピックモデルの性能はどのように向上するか？
• RQ3 抽出されたトピック構造は、科学文献における意味のある研究動向やトピック間関係をどの程度明らかにできるか？
• RQ4 動的進化における複数トピック依存関係を組み込むことで、単一トピック依存関係モデルと比較して、パープレキシティと解釈可能性が向上するか？

主な発見

• DSTMは、NIPSおよびDroneの両データセットにおいて、すべての設定で最低のパープレキシティを達成し、LDA、PAM、DRTMを上回った。
• NIPSデータセットでは、K=30の条件下でDSTMのパープレキシティは1378.7（±16.5）であったのに対し、LDAは1455.6（±16.7）、DRTMは1380.7（±18.5）であり、対応t検定のp値は0.001未満であった。
• Droneデータセットでは、K=25の条件下でDSTMのパープレキシティは1171.6（±141.4）であったが、DRTMの1201.2（±143.5）およびLDAの1644.7（±193.0）を有意に下回った。
• モデルは解釈可能なトピック構造を成功裏に抽出し、2015–2016年にかけて「計画」トピックが「マッピング」トピックを統合する進化を示した。これは現実の研究動向を反映している。
• 動的関係から、2016年以降、「オンライン」計画に関する関心が高まっていることが明らかになった。これはオンボードコンピューティングの進歩と関連している。
• 静的関係から、2013–2014年には「計画」が「ハードウェア」と「制御」と関連していたが、2015–2016年には「マッピング」と関連するようになり、研究の焦点が移行していることが示された。