[论文解读] Variational Tempering

Stephan Mandt, James O. McInerney+3 more|arXiv (Cornell University)|Nov 7, 2014

Machine Learning and Algorithms被引用 23

一句话总结

本文提出变分退火（VT）和局部变分退火（LVT），将温度视为变分推断中的隐变量，以实现自适应退火调度。通过从数据中学习最优温度调度，VT 和 LVT 在主题模型和混合模型中均优于传统的随机变分推断和手动调优的退火方法，在无需手动调整超参数的情况下，实现了更高的保留数据预测似然度。

ABSTRACT

Variational inference (VI) combined with data subsampling enables approximate posterior inference over large data sets, but suffers from poor local optima. We first formulate a deterministic annealing approach for the generic class of conditionally conjugate exponential family models. This approach uses a decreasing temperature parameter which deterministically deforms the objective during the course of the optimization. A well-known drawback to this annealing approach is the choice of the cooling schedule. We therefore introduce variational tempering, a variational algorithm that introduces a temperature latent variable to the model. In contrast to related work in the Markov chain Monte Carlo literature, this algorithm results in adaptive annealing schedules. Lastly, we develop local variational tempering, which assigns a latent temperature to each data point; this allows for dynamic annealing that varies across data. Compared to the traditional VI, all proposed approaches find improved predictive likelihoods on held-out data.

研究动机与目标

• 解决大规模数据集上随机变分推断（SVI）中出现的次优局部极小值问题。
• 通过从数据中学习退火调度，消除确定性退火中对温度调度手动调优的需求。
• 开发一种可扩展的、数据驱动的退火方法，以改善条件共轭指数族模型中的后验近似。
• 提出局部变分退火（LVT），其中每个数据点具有独立的温度，实现跨数据的动态退火。
• 证明变分退火在性能上可与最佳手动调优的退火调度相媲美或更优。

提出的方法

• 通过引入一个全局隐式温度变量来扩展模型，提出变分退火（VT），使算法能够从数据中推断最优退火调度。
• 采用基于均场变分推断的框架，使用依赖于温度的目标函数，通过变分推断对温度进行边缘化处理。
• 将该方法应用于条件共轭指数族模型，通过随机变分推断（SVI）实现可扩展推断。
• 提出局部变分退火（LVT），其中每个数据点拥有独立的温度变量，实现基于数据点的动态退火。
• 推导出全局和局部温度变量的变分更新规则，并将其整合进标准SVI优化循环中。
• 采用黑箱变分推断技术，使该方法可推广至广泛模型类别，同时仅需极少的模型特定推导。

实验结果

研究问题

• RQ1 在变分推断中将温度视为隐变量，是否能获得比固定或手动调优的退火调度更优的后验近似？
• RQ2 变分退火是否能自动学习出与最佳手动调优线性调度相当或更优的退火调度？
• RQ3 通过每个数据点独立的温度变量，局部变分退火是否能通过实现跨数据的动态退火速率来提升推断质量？
• RQ4 在保留数据上的预测似然度方面，变分退火与标准随机变分推断相比表现如何？
• RQ5 自适应温度学习对非凸变分目标函数中收敛性及避免次优局部极小值的影响是什么？

主要发现

• 变分退火（VT）在保留数据上的预测似然度与最佳手动调优的线性退火调度相当或更优。
• 在Yale Faces数据集上，VT 自动学习到的退火调度与最优线性调度性能极为接近，从而消除了超参数搜索的需要。
• 在人工因子混合模型数据上，VT 恢复出比标准变分推断更清晰、更准确的潜在分量（μk），后者易陷入次优局部极小值。
• 局部变分退火（LVT）实现了跨数据点的动态退火，使数据的不同区域能够以不同速率被优化。
• 所有提出的方法——退火VI、VT和LVT——在主题模型和混合模型上均实现了比标准SVI更高的ELBO和更好的预测似然度。
• VT中的期望温度随迭代过程自适应调整，退火调度自然地从数据中浮现，证明了其有效的自动退火能力。