[论文解读] A Coefficient of Determination for Probabilistic Topic Models

Tommy Jones|arXiv (Cornell University)|Nov 20, 2019

Computational and Text Analysis Methods参考文献 16被引用 9

一句话总结

本文为概率主题模型提出了一种新颖的决定系数（$R^2$），将其解释为通过比较观测词频与模型预测词频的标准拟合优度度量。该方法利用模型下预期的词频，基于全期望定律推导得出，并证明$R^2$在不同语境下提供了稳定且可解释的度量，用于评估主题模型的拟合程度。

ABSTRACT

This research proposes a new (old) metric for evaluating goodness of fit in topic models, the coefficient of determination, or $R^2$. Within the context of topic modeling, $R^2$ has the same interpretation that it does when used in a broader class of statistical models. Reporting $R^2$ with topic models addresses two current problems in topic modeling: a lack of standard cross-contextual evaluation metrics for topic modeling and ease of communication with lay audiences. The author proposes that $R^2$ should be reported as a standard metric when constructing topic models.

研究动机与目标

• 解决主题模型缺乏标准化、跨语境评估度量的问题。
• 通过采用广泛理解的统计度量，改善向非专业受众传达主题模型性能的方式。
• 通过与更广泛的统计建模一致的方式，形式化主题模型中拟合优度的解释。
• 通过比较观测词频与期望词频，提供一种评估模型拟合度的合理方法。
• 确立$R^2$作为主题建模研究与实践中的推荐标准度量。

提出的方法

• 该方法利用全期望定律推导文档中词频的期望值，同时考虑潜在主题分配与词-主题分布。
• 将文档-词矩阵$\mathbf{W}$建模为文档-主题比例$\boldsymbol{\Theta}$与主题-词分布$\boldsymbol{\Phi}$的乘积，其期望值在$\boldsymbol{\theta}_d$与$\boldsymbol{\phi}_k$独立的假设下计算。
• 证明了词频的期望值与狄利克雷先验参数$\boldsymbol{\beta}$成正比，从而将模型参数与期望词频建立联系。
• 通过标准统计定义$R^2 = 1 - \frac{\text{SS}_{\text{res}}}{\text{SS}_{\text{tot}}}$，比较观测词频与模型期望词频来计算$R^2$度量。
• 推导假设了文档-主题分布与主题-词分布之间的独立性，从而实现期望值的解析计算。
• 该方法基于主题模型的生成过程，其中词频被建模为从特定主题分布中进行多项分布抽样。

实验结果

研究问题

• RQ1 能否在概率主题模型中合理应用$R^2$作为拟合优度度量？
• RQ2 所提出的$R^2$度量是否能够实现主题模型在不同语境下的稳定、一致评估？
• RQ3 文档中期望词频与模型参数（尤其是$\boldsymbol{\beta}$）之间有何关系？
• RQ4 $R^2$能否提升非专业受众对主题模型性能的可解释性与沟通效果？
• RQ5 在具有潜变量与层次先验的模型中，使用$R^2$的理论依据是什么？

主要发现

• 在主题模型下，文档的期望词频与狄利克雷先验参数$\boldsymbol{\beta}$成正比，表明模型先验与期望词频之间存在直接关联。
• 文档-词矩阵$\mathbb{E}(\mathbf{W})$的期望值被推导为$\mathbb{E}(n_d) \cdot \boldsymbol{\theta}_d \cdot \boldsymbol{\Phi}$，其期望值通过全期望定律计算得出。
• 在$\boldsymbol{\theta}_d$与$\boldsymbol{\phi}_k$独立的假设下，$\mathbf{w}_d$的期望值简化为$n_d \cdot \boldsymbol{\beta} / \sum_v \beta_v$，表明其与$\boldsymbol{\beta}$成正比。
• 推导结果确认，模型的期望输出由先验参数$\boldsymbol{\alpha}$与$\boldsymbol{\beta}$决定，其中$\mathbb{E}(\theta_{d,k}) = \alpha_k / \sum_k \alpha_k$，且$\mathbb{E}(\phi_{k,v}) = \beta_v / \sum_v \beta_v$。
• $R^2$度量通过将观测词频与模型期望词频进行比较，被正式证明为一种有效的拟合优度度量。
• 本文结论认为，由于$R^2$具有良好的可解释性且与更广泛的统计实践一致，因此应在主题建模中作为标准度量报告。