[论文解读] Dynamic and Static Topic Model for Analyzing Time-Series Document Collections

Rem Hida, Naoya Takeishi+2 more|arXiv (Cornell University)|May 6, 2018

Advanced Text Analysis Techniques参考文献 8被引用 3

一句话总结

本文提出了一种动态与静态主题模型（DSTM），联合建模时间序列文档集合中主题的时序演化与层次化主题依赖关系。通过整合来自多个历史主题的动态主题转移和静态主题层次结构，DSTM在困惑度指标上表现更优，并揭示了可解释的主题结构，在科学论文数据集上优于LDA、PAM和DRTM。

ABSTRACT

For extracting meaningful topics from texts, their structures should be considered properly. In this paper, we aim to analyze structured time-series documents such as a collection of news articles and a series of scientific papers, wherein topics evolve along time depending on multiple topics in the past and are also related to each other at each time. To this end, we propose a dynamic and static topic model, which simultaneously considers the dynamic structures of the temporal topic evolution and the static structures of the topic hierarchy at each time. We show the results of experiments on collections of scientific papers, in which the proposed method outperformed conventional models. Moreover, we show an example of extracted topic structures, which we found helpful for analyzing research activities.

研究动机与目标

• 为解决现有主题模型仅考虑动态或静态主题结构之一，而无法同时建模两者的问题。
• 通过在文档集合中整合时序依赖关系与层次化主题关系，提升主题模型的可解释性与建模准确性。
• 实现对科学文献与新闻档案中研究趋势与主题演化的更好分析。
• 构建一个统一的概率框架，以捕捉随时间演化的多主题依赖关系以及每个时间点的主题层次结构。

提出的方法

• DSTM采用动态结构：时间t的主题-词分布被建模为时间t-1多个主题-词分布的加权和，其中权重βt捕捉来自多个历史主题的依赖关系。
• 通过层次先验建模静态结构：每个时间点的超主题控制子主题，先验参数αst控制子主题关系的强度。
• 模型采用生成过程，将词语分配给子主题，子主题分配给超主题，超主题分配给文档，且主题分布随时间变化。
• 通过变分贝叶斯推断进行推断与学习，优化边际似然的变分下界。
• 通过迭代优化，联合学习动态转移权重βt与静态层次权重αst。
• 该方法支持主题建模与主题结构提取，可实现演化与层次化主题关系的可视化。

实验结果

研究问题

• RQ1 能否在时间序列文档集合中，同时捕捉动态主题演化与静态主题层次结构？
• RQ2 与仅考虑单一结构的模型相比，联合建模动态与静态结构在主题模型性能上如何提升？
• RQ3 所提取的主题结构在多大程度上能揭示科学文献中的有意义研究趋势与主题间关系？
• RQ4 在动态演化中引入多主题依赖关系，是否能带来比单主题依赖模型更低的困惑度与更高的可解释性？

主要发现

• 在NIPS与Drone数据集上，DSTM在所有设置下均达到最低困惑度，优于LDA、PAM与DRTM。
• 在NIPS数据集上，当K=30时，DSTM的困惑度为1378.7（±16.5），显著低于LDA的1455.6（±16.7）与DRTM的1380.7（±18.5），配对t检验的p值均小于0.001。
• 在Drone数据集上，当K=25时，DSTM的困惑度为1171.6（±141.4），显著低于DRTM的1201.2（±143.5）与LDA的1644.7（±193.0）。
• 该模型成功提取了可解释的主题结构，显示‘规划’主题在2015–2016年间逐渐融合了‘地图构建’主题，反映了真实世界的研究趋势。
• 动态关系揭示了自2016年起对‘在线’规划的兴趣持续上升，与机载计算技术的进步相关。
• 静态关系显示，2013–2014年‘规划’与‘硬件’及‘控制’相关，而2015–2016年则与‘地图构建’关联，表明研究重点发生了转变。