[论文解读] Multi-Node EM Algorithm for Finite Mixture Models

Sharon Lee, Geoffrey J. McLachlan+1 more|arXiv (Cornell University)|May 14, 2020

Algorithms and Data Compression参考文献 23被引用 4

一句话总结

本文提出了一种用于有限混合模型的多节点期望最大化（EM）算法，可在单机和小型多节点集群环境中实现高效的并行计算。通过将E-step分配给观测值和分量，将M-step分配给混合分量，该方法实现了显著的加速效果——在18个线程下计算时间最多减少79%，表明在R语言中相比MATLAB在大规模混合模型拟合方面表现出更优的性能。

ABSTRACT

Finite mixture models are powerful tools for modelling and analyzing heterogeneous data. Parameter estimation is typically carried out using maximum likelihood estimation via the Expectation-Maximization (EM) algorithm. Recently, the adoption of flexible distributions as component densities has become increasingly popular. Often, the EM algorithm for these models involves complicated expressions that are time-consuming to evaluate numerically. In this paper, we describe a parallel implementation of the EM-algorithm suitable for both single-threaded and multi-threaded processors and for both single machine and multiple-node systems. Numerical experiments are performed to demonstrate the potential performance gain n different settings. Comparison is also made across two commonly used platforms - R and MATLAB. For illustration, a fairly general mixture model is used in the comparison.

研究动机与目标

• 为解决使用灵活的非正态分量密度（如偏t分布）拟合有限混合模型时的计算瓶颈问题。
• 开发一种适用于单机和小型多节点计算环境的可扩展并行EM算法。
• 在计算速度和稳定性方面，比较R和MATLAB平台中多节点EM算法的性能表现。
• 评估线程数量和网络化架构对计算密集型混合模型运行效率的影响。

提出的方法

• 通过为每个观测值-分量对分配一个线程，实现E-step的并行化，从而独立计算后验概率。
• 通过将参数更新计算分配给g个线程（每个混合分量一个线程），实现M-step的并行化。
• 在R和MATLAB中均实现该算法，以在相同硬件和数据条件下进行跨平台性能基准测试。
• 该方法支持单核和多核系统，以及使用消息传递进行节点间通信的小型本地机器网络。
• 数值评估采用的是规范基础偏t（CFUST）分布的有限混合模型作为目标模型。
• 性能评估基于澳大利亚体育学院（AIS）数据集，共进行100次试验，线程数从m=1到20不等。

实验结果

研究问题

• RQ1 多节点EM算法如何提升复杂分量密度下有限混合模型的计算时间？
• RQ2 在不同线程数下，R与MATLAB在实现并行EM算法方面的相对性能如何？
• RQ3 线程数量如何影响加速效果？在何时出现收益递减或开销增加？
• RQ4 在多节点集群环境中，该算法的有效性如何？网络通信开销是否限制了可扩展性？

主要发现

• R实现中，使用11个线程时计算时间最大减少76.97%，使用12个线程时减少76.44%，表明在中等线程数下性能提升显著。
• MATLAB初始性能慢于R，但在m ≥ 15时反超，使用20个线程时达到峰值时间减少80.41%。
• MATLAB的计算时间标准差始终低于R，表明在所有试验中性能更稳定，尤其是在高线程数下。
• 在三台机器的多节点环境下，仅观察到平均4.5%的时间减少，表明网络开销限制了小数据集的性能提升。
• R的性能趋势在m=12时出现计算时间轻微上升，可能由于线程管理开销；而MATLAB则随着线程数增加保持稳定下降。
• 多节点EM算法在单机环境下表现出显著可扩展性，两个平台在中等线程数下均实现超过75%的时间减少，证实其在大规模混合建模中的实用性。