[论文解读] Anchor-Free Correlated Topic Modeling: Identifiability and Algorithm

Kejun Huang, Xiao Fu+1 more|arXiv (Cornell University)|Nov 15, 2016

Topic Modeling被引用 21

一句话总结

本文提出了一种无锚点的关联主题建模框架，通过使用二阶词-词相关性矩阵来确保主题可识别性，而无需依赖锚点词或高阶统计量。该方法利用特征分解和小规模线性规划，实现了可扩展且鲁棒的主题识别，在TDT2和Reuters-21578语料库上的主题连贯性、相似性和聚类准确率方面优于先前方法。

ABSTRACT

In topic modeling, many algorithms that guarantee identifiability of the topics have been developed under the premise that there exist anchor words -- i.e., words that only appear (with positive probability) in one topic. Follow-up work has resorted to three or higher-order statistics of the data corpus to relax the anchor word assumption. Reliable estimates of higher-order statistics are hard to obtain, however, and the identification of topics under those models hinges on uncorrelatedness of the topics, which can be unrealistic. This paper revisits topic modeling based on second-order moments, and proposes an anchor-free topic mining framework. The proposed approach guarantees the identification of the topics under a much milder condition compared to the anchor-word assumption, thereby exhibiting much better robustness in practice. The associated algorithm only involves one eigen-decomposition and a few small linear programs. This makes it easy to implement and scale up to very large problem instances. Experiments using the TDT2 and Reuters-21578 corpus demonstrate that the proposed anchor-free approach exhibits very favorable performance (measured using coherence, similarity count, and clustering accuracy metrics) compared to the prior art.

研究动机与目标

• 开发一种主题建模框架，确保在无需锚点词的情况下实现可识别性，因为锚点词在实际中往往不现实。
• 在主题相关的情境下实现主题识别，克服先前高阶张量方法所受的不相关性假设限制。
• 设计一种计算高效的算法，避免降维和归一化操作，从而提升鲁棒性与可扩展性。
• 通过标准评估指标（如连贯性与聚类准确率）在真实世界文本语料上展示优越性能。

提出的方法

• 该方法使用二阶相关性矩阵对词共现进行建模，将其分解为词-主题概率质量函数（PMF）矩阵与主题-主题相关性矩阵。
• 通过在‘充分分散’条件下最小化主题-主题相关性矩阵的行列式来强制实现主题可识别性，该条件比锚点词假设更为宽松。
• 该算法对相关性矩阵执行一次特征分解，随后运行少量小规模线性规划以提取主题。
• 避免列归一化与降维操作，减少误差传播并提升数值稳定性。
• 该方法利用相关性矩阵的对称结构，实现高效计算与可扩展性。
• 该方法不依赖高阶统计量，因此对抽样噪声与数据稀疏性更具鲁棒性。

实验结果

研究问题

• RQ1 是否可以在不依赖锚点词存在的情况下实现主题模型的可识别性？
• RQ2 在主题相关这一常见现实场景下，能否保证主题可识别性？
• RQ3 仅依靠二阶统计量是否足以实现鲁棒且可扩展的主题建模，而无需高阶张量方法？
• RQ4 与基于锚点词和张量的方法相比，该方法在性能与鲁棒性方面表现如何？
• RQ5 基于特征分解与小规模线性规划的简单算法能否在主题建模中实现最先进性能？

主要发现

• 所提出的无锚点方法在‘充分分散’条件下实现了唯一主题识别，该条件远比锚点词假设更为宽松。
• 该方法在主题多样性与可解释性方面优于最先进的基于锚点的方法（如FastAnchor），表现为挖掘出的主题中词重叠率更低。
• 在TDT2语料上，AnchorFree在主题连贯性与聚类准确率方面优于基线方法，且误差传播极小。
• 该算法具有高效可扩展性，运行时间接近基于贪心降维的方法（如SNPA与XRAY），尽管其本身是非贪心的。
• 在Reuters-21578与TDT2上的实验表明，该方法能有效捕捉到如‘哥伦比亚号航天飞机失事’与‘琼斯伯勒校园枪击案’等独立主题，即使主题之间存在相关性。
• 该方法避免了归一化与降维操作，保留了数据的条件性，减少了噪声放大，从而在实际应用中提升了鲁棒性。