[论文解读] A Bayesian approach to modeling topic-metadata relationships

Patrick Schulze, Simon Wiegrebe+3 more|arXiv (Cornell University)|Apr 6, 2021

Computational and Text Analysis Methods参考文献 17被引用 4

一句话总结

本文提出了一种完全贝叶斯贝塔回归方法，用于建模文本数据中的主题-元数据关系，相较于stm包中使用的频率学派普通最小二乘法（OLS）方法，该方法更好地考虑了主题比例的有界性（0,1）。该方法在贝叶斯框架内使用蒙特卡洛抽样，生成更一致、有效的预测结果及后验预测分布，基于德国议员的推特数据进行了验证，相较于OLS和频率学派贝塔回归，其准确性和可解释性均有提升。

ABSTRACT

The objective of advanced topic modeling is not only to explore latent topical structures, but also to estimate relationships between the discovered topics and theoretically relevant metadata. Methods used to estimate such relationships must take into account that the topical structure is not directly observed, but instead being estimated itself in an unsupervised fashion, usually by common topic models. A frequently used procedure to achieve this is the method of composition, a Monte Carlo sampling technique performing multiple repeated linear regressions of sampled topic proportions on metadata covariates. In this paper, we propose two modifications of this approach: First, we substantially refine the existing implementation of the method of composition from the R package stm by replacing linear regression with the more appropriate Beta regression. Second, we provide a fundamental enhancement of the entire estimation framework by substituting the current blending of frequentist and Bayesian methods with a fully Bayesian approach. This allows for a more appropriate quantification of uncertainty. We illustrate our improved methodology by investigating relationships between Twitter posts by German parliamentarians and different metadata covariates related to their electoral districts, using the Structural Topic Model to estimate topic proportions.

研究动机与目标

• 解决stm包中OLS回归在主题-元数据关系建模中的局限性，该方法因忽略主题比例的(0,1)有界性，导致预测值超出有效范围。
• 用完全贝叶斯框架替代stm中混合的频率学派-贝叶斯方法，以更准确地反映主题比例中的不确定性。
• 开发一种方法，实现对元数据协变量与文本中潜在主题之间关系的连贯、可解释且有效的推断。
• 通过分析德国议员推特内容，展示该方法的优势，将主题与时间及社会经济元数据关联。

提出的方法

• 用贝塔回归替代OLS回归，将主题比例建模为(0,1)区间内的有界变量，确保预测值始终处于有效范围内。
• 将贝塔回归整合到组成方法中，通过蒙特卡洛抽样从主题比例的后验分布中抽取样本。
• 采用完全贝叶斯框架，估计不同元数据协变量取值下主题比例的后验预测分布。
• 将该方法应用于结构化主题模型（STM），利用其将文档级元数据整合到主题比例估计中的能力。
• 使用MCMC或变分推断获取模型参数的后验分布，实现完整的贝叶斯推断。
• 通过后验预测均值和分位数（如85%、90%、95%）可视化结果，展示不同文档间的不确定性与变异情况。

实验结果

研究问题

• RQ1 德国议员推特内容中，主题比例如何随时间变化，特别是在2019年联合国气候行动峰会等重大事件前后？
• RQ2 ‘气候保护’主题的比例与失业率、人均GDP及议员选区中移民占比等社会经济指标之间存在何种关系？
• RQ3 由于忽略了主题比例的有界性，基于OLS的stm包估计是否会产生不合理的预测（如负的主题比例）？
• RQ4 与频率学派方法相比，完全贝叶斯贝塔回归方法是否能产生更准确、更具可解释性的主题-元数据关系估计？
• RQ5 主题比例的后验预测分布如何随不同元数据取值而变化，从而揭示个体议员行为的异质性？

主要发现

• stm包中基于OLS的方法因忽略主题比例的(0,1)约束，导致产生无效预测，包括负的主题比例。
• 频率学派贝塔回归虽通过确保预测值在(0,1)范围内改进了OLS，但仍缺乏完整的不确定性量化和连贯的贝叶斯解释。
• 所提出的完全贝叶斯贝塔回归方法产生有效且有界的预测，并能可视化完整的后验预测分布，揭示了不同议员之间更大的不确定性与变异。
• 对于‘气候保护’主题，议员选区中移民占比越高，相关讨论频率越低；而人均GDP则表现出非线性关系，峰值出现在约7万欧元左右。
• 后验预测分布显示，在不同协变量取值下，不同议员的主题比例存在显著差异，凸显了点估计无法捕捉的个体层面异质性。
• 贝叶斯方法支持对主题-元数据关系进行更丰富、更全面的探索，包括预测分布的分位数，从而增强了可解释性与稳健性。