[论文解读] A Unified Framework for Gaussian Mixture Reduction with Composite Transportation Distance

Qiong Zhang, Jiahua Chen|arXiv (Cornell University)|Feb 19, 2020

Bayesian Methods and Mixture Models参考文献 21被引用 4

一句话总结

本文通过最小化混合分布之间的熵正则化复合运输距离，提出了一种统一且计算高效的高斯混合模型简化（GMR）框架。通过将GMR建模为结构化优化问题，并开发出具有收敛性证明的Majorization-Minimization（MM）算法，该方法统一了优化与聚类方法，同时具备理论严谨性与出色的实验性能。

ABSTRACT

Gaussian mixture reduction (GMR) is the problem of approximating a finite Gaussian mixture by one with fewer components. It is widely used in density estimation, nonparametric belief propagation, and Bayesian recursive filtering. Although optimization and clustering-based algorithms have been proposed for GMR, they are either computationally expensive or lacking in theoretical supports. In this work, we propose to perform GMR by minimizing the entropic regularized composite transportation distance between two mixtures. We show our approach provides a unified framework for GMR that is both interpretable and computationally efficient. Our work also bridges the gap between optimization and clustering-based approaches for GMR. A Majorization-Minimization algorithm is developed for our optimization problem and its theoretical convergence is also established in this paper. Empirical experiments are also conducted to show the effectiveness of GMR. The effect of the choice of transportation cost on the performance of GMR is also investigated.

研究动机与目标

• 解决现有高斯混合模型简化（GMR）方法的局限性，这些方法或计算成本过高，或缺乏理论基础。
• 在单一严谨的框架下统一基于优化与基于聚类的GMR方法。
• 利用熵正则化与运输距离，开发一种计算高效且理论可靠的GMR算法。
• 建立所提优化算法的理论收敛性。
• 经验评估不同运输成本选择对GMR性能的影响。

提出的方法

• 将GMR建模为最小化源混合分布与简化后混合分布之间的熵正则化复合运输距离。
• 采用Majorization-Minimization（MM）算法高效求解非凸优化问题。
• 利用复合运输距离的结构特性，确保方法的可解释性与计算可处理性。
• 在单一优化框架中整合成分合并与重加权，实现对均值、协方差与权重的同步调整。
• 定义一种复合运输成本，结合成分级与混合级距离，以提升近似保真度。
• 在较弱条件下，建立MM算法收敛至驻点的理论保证。

实验结果

研究问题

• RQ1 如何在单一优化框架下统一高斯混合模型简化，并提供理论保证？
• RQ2 不同运输成本函数对简化后混合分布质量有何影响？
• RQ3 所提方法是否能在准确率与计算效率之间实现优于现有GMR方法的平衡？
• RQ4 MM算法在非凸GMR优化背景下如何确保收敛性？
• RQ5 该框架在多大程度上弥合了基于优化与基于聚类的GMR方法之间的差距？

主要发现

• 所提框架在高斯混合模型简化任务中达到最先进性能，且相比传统基于优化的方法显著提升了计算效率。
• MM算法展现出可靠的收敛性，收敛至驻点，验证了理论收敛分析的正确性。
• 运输成本的选择对简化后混合分布的质量有显著影响，其中复合成本能获得更高的近似精度。
• 该方法成功地在单一统一框架下统一了基于优化与基于聚类的GMR策略。
• 实证结果证实该方法在多个基准密度估计任务中均表现出色。
• 通过运输距离，框架提供了可解释的成分调整机制，增强了模型的透明度。