[论文解读] Learning Fast-Mixing Models for Structured Prediction

Jacob Steinhardt, Percy Liang|arXiv (Cornell University)|Feb 24, 2015

Machine Learning and Algorithms参考文献 34被引用 4

一句话总结

本文提出了一类基于强道布尔林马尔可夫链的新结构化预测模型，通过控制复杂转移核与简单、可处理的提议之间的混合比例，确保快速混合时间。通过在平稳分布下学习参数以最大化数据似然，该方法实现了更快的收敛速度和更高的准确性——在手势到词语的推理任务中，字符准确率提升了3.6%，在DNF公式合成任务中实现了50倍的速度提升，同时在学习目标中显式考虑了计算约束。

ABSTRACT

Markov Chain Monte Carlo (MCMC) algorithms are often used for approximate inference inside learning, but their slow mixing can be difficult to diagnose and the approximations can seriously degrade learning. To alleviate these issues, we define a new model family using strong Doeblin Markov chains, whose mixing times can be precisely controlled by a parameter. We also develop an algorithm to learn such models, which involves maximizing the data likelihood under the induced stationary distribution of these chains. We show empirical improvements on two challenging inference tasks.

研究动机与目标

• 为解决基于MCMC的结构化预测中混合速度慢的问题，该问题阻碍了收敛诊断并降低了学习性能。
• 构建一个模型族，其混合时间可通过单一超参数显式控制，确保计算上的可处理性，同时不牺牲表示能力。
• 开发一种学习算法，在这些快速混合链的平稳分布下最大化数据似然，同时将计算成本纳入目标函数。
• 将该框架推广至分阶段强道布尔林链，实现从简单到复杂模型的平滑过渡，支持多级细化。

提出的方法

• 构建一个马尔可夫链作为混合：以概率 $1 - \epsilon$，通过复杂模型 $A_\theta$ 进行转移；以概率 $\epsilon$，从一个简单、可处理的提议 $u_\theta$ 中重新采样。
• 利用强道布尔林性质，保证混合时间至多为 $O(1/\epsilon)$，从而对计算成本实现精确控制。
• 在期望时间 $O(1/\epsilon)$ 内推导出平稳分布下对数似然的随机梯度，支持端到端学习。
• 引入使用辅助状态变量 $z$ 的分阶段强道布尔林链，通过多个基础链的顺序转移实现渐进式细化。
• 通过学习 $\theta$ 以最大化 $\tilde{A}_\theta$ 的平稳分布下的似然，将该方法应用于结构化预测任务。
• 采用自适应优化方法（如AdaGrad）以处理学习过程中高方差的梯度。

实验结果

研究问题

• RQ1 我们能否构建一个模型族，使得其混合时间可通过单一超参数被严格界定并可控？
• RQ2 当 $\epsilon$ 变化时，强道布尔林链的平稳分布与其基础链的平稳分布之间有何关系？
• RQ3 即使使用近似推理，我们能否通过在平稳分布下最大化似然来有效学习此类模型？
• RQ4 强道布尔林链的分阶段推广是否能提升在局部信号微弱的复杂结构化预测任务中的性能？

主要发现

• 在手势到词语的推理任务中，该方法在仅使用五分之一样本数量的情况下，相比吉布斯采样，字符准确率绝对提升了3.6%。
• 在程序验证中的DNF公式推理任务中，分阶段强道布尔林链相比普通梅特罗波利斯-黑斯廷斯算法实现了50倍的速度提升，并相比随机重启方法提升了30%。
• 当 $\epsilon \to 0$ 时，$\tilde{A}_\theta$ 的平稳分布以KL散度衡量，单调收敛至 $A_\theta$ 的平稳分布，无论方向如何。
• 当 $1/\epsilon$ 远大于 $A_\theta$ 的混合时间时，$A_\theta$ 与 $\tilde{A}_\theta$ 的平稳分布在马氏距离下接近，表明近似效果良好。
• 学习算法在期望时间 $O(1/\epsilon)$ 内计算出对数似然的随机梯度，使目标函数在计算上可行。
• 分阶段结构支持从简单到复杂模型的平滑过渡，提升了在局部势能信号微弱任务中的性能。