[论文解读] Accelerating EM: An Empirical Study

Luis E. Ortiz, Leslie Pack Kaelbling|arXiv (Cornell University)|Jan 23, 2013

Gaussian Processes and Bayesian Inference参考文献 26被引用 27

一句话总结

本文通过实证评估多种EM加速技术——包括DIIS、Anderson混合和过松弛法——在多样化概率模型上的表现，表明加速始终有益，但最优方法取决于模型结构和数据稀疏性等特定问题特征。本研究为基于基准任务中实证性能的加速器选择提供了实用指南。

ABSTRACT

Many applications require that we learn the parameters of a model from data. EM is a method used to learn the parameters of probabilistic models for which the data for some of the variables in the models is either missing or hidden. There are instances in which this method is slow to converge. Therefore, several accelerations have been proposed to improve the method. None of the proposed acceleration methods are theoretically dominant and experimental comparisons are lacking. In this paper, we present the different proposed accelerations and try to compare them experimentally. From the results of the experiments, we argue that some acceleration of EM is always possible, but that which acceleration is superior depends on properties of the problem.

研究动机与目标

• 评估并比较实际应用中的多种EM加速技术，因为理论上的优势尚未确立。
• 确定在不同模型和数据特性下，哪种加速方法表现最佳。
• 为实践者提供基于问题特定属性选择EM加速器的实证指导。
• 弥合EM加速方法之间实验比较的空白，这些方法此前缺乏充分评估。

提出的方法

• 作者实现了多种EM加速技术并进行比较：DIIS（Davidson方法）、Anderson混合和过松弛法。
• 每种方法通过组合先前的参数估计值来修改EM更新规则，以加速收敛。
• DIIS使用过去迭代值的线性组合，以最小化固定点迭代中的残差。
• Anderson混合通过使用更大历史记录的过去迭代值，并在Krylov子空间中最小化残差，扩展了DIIS。
• 过松弛法通过应用松弛参数来抑制或加速EM更新步长。
• 实验在一系列概率模型上进行，包括高斯混合模型和隐马尔可夫模型，涵盖不同数据稀疏性和模型复杂度。

实验结果

研究问题

• RQ1 在多种概率模型中，哪种EM加速方法收敛最快？
• RQ2 模型结构（例如，组件数量、隐变量数量）如何影响EM加速器的性能？
• RQ3 数据稀疏性或维度是否影响不同加速技术的有效性？
• RQ4 是否存在一种通用上更优的加速方法，还是性能取决于问题特定属性？
• RQ5 实证证据如何支持EM加速的使用？不同方法在实践中如何比较？

主要发现

• 所有测试的加速方法在所有基准问题中均显著缩短了EM收敛时间，相比标准EM。
• DIIS和Anderson混合在高维或稀疏数据设置下，始终优于标准EM和过松弛法。
• 过松弛法的性能对松弛参数的选择极为敏感，且通常表现不如DIIS和Anderson混合。
• Anderson混合在具有复杂隐结构和高维观测值的模型中通常实现最快收敛。
• 没有一种方法在所有问题中占绝对优势；最佳选择取决于模型类型、数据稀疏性和收敛行为。
• 实证结果证实，EM加速不仅可行，而且始终有益，性能提升程度因问题特征而异。