[论文解读] An Instability in Variational Inference for Topic Models

Behrooz Ghorbani, Hamid Javadi+1 more|arXiv (Cornell University)|Feb 2, 2018

Bayesian Methods and Mixture Models参考文献 32被引用 15

一句话总结

本文识别出在主题模型的平均场变分推断中存在一种关键不稳定性：即使数据中不存在真实信号，该算法仍会产生非平凡的主题分解。这种不稳定性导致后验估计产生误导性结果，且与真实主题无关，从而在模型假设正确且参数已知的情况下，削弱了贝叶斯推断的可信度。

ABSTRACT

Topic models are Bayesian models that are frequently used to capture the latent structure of certain corpora of documents or images. Each data element in such a corpus (for instance each item in a collection of scientific articles) is regarded as a convex combination of a small number of vectors corresponding to `topics' or `components'. The weights are assumed to have a Dirichlet prior distribution. The standard approach towards approximating the posterior is to use variational inference algorithms, and in particular a mean field approximation. We show that this approach suffers from an instability that can produce misleading conclusions. Namely, for certain regimes of the model parameters, variational inference outputs a non-trivial decomposition into topics. However --for the same parameter values-- the data contain no actual information about the true decomposition, and hence the output of the algorithm is uncorrelated with the true topic decomposition. Among other consequences, the estimated posterior mean is significantly wrong, and estimated Bayesian credible regions do not achieve the nominal coverage. We discuss how this instability is remedied by more accurate mean field approximations.

研究动机与目标

• 在理想化模型条件下，研究平均场变分推断在潜在狄利克雷分配（LDA）中的可靠性。
• 识别在无真实潜在结构的情况下，变分推断仍产生虚假主题分解的条件。
• 证明由于该不稳定性，估计的后验均值和可信区间可能显著不准确。
• 通过更精确的平均场近似提出补救措施，以纠正该不稳定性。

提出的方法

• 在平均场分解假设下，使用吉布斯自由能最小化框架分析变分推断问题。
• 推导变分参数的不动点方程，并利用随机矩阵理论和渐近分析研究其稳定性。
• 采用近似消息传递（AMP）估计估计主题与真实主题之间的相关性，以验证理论预测。
• 使用布inder矩量量化相关性并检测收敛至无信息解的情况。
• 提出关于随机向量范数的二阶与三阶矩的猜想，以证明不动点的唯一性。
• 将平均场变分推断与更精确的近似方法进行比较，以证明其稳定性得到改善。

实验结果

研究问题

• RQ1 在何种参数范围内，平均场变分推断会在数据中不存在真实主题结构时产生非平凡的主题估计？
• RQ2 为何在模型规范正确的情况下，后验均值估计和可信区间仍无法实现名义上的覆盖概率？
• RQ3 信噪比 β 如何影响主题模型中变分推断的稳定性？
• RQ4 更精确的平均场近似能否解决标准平均场变分推断中观察到的不稳定性？
• RQ5 狄利克雷先验浓度 ν 和数据对主题比 δ 在诱导或抑制该不稳定性方面起什么作用？

主要发现

• 即使数据中不存在真实信号，平均场变分推断仍会产生非平凡的主题分解，导致估计结果与真实主题无关。
• 估计的后验均值存在显著偏差，且贝叶斯可信区域无法实现名义上的覆盖概率。
• 当信噪比 β 超过临界阈值 β_Bayes(k,ν,δ) 时，该不稳定性出现，此时算法收敛至虚假不动点。
• 使用阻尼AMP的数值模拟表明，相关性在阈值以下急剧下降，表明信号恢复能力丧失。
• 该不稳定性源于平均场近似未能考虑高阶依赖关系，而更精确的变分近似可纠正此问题。
• 关于随机向量范数矩的猜想被证明可推出不动点的唯一性，从而支持理论稳定性分析。