[论文解读] Gaussian Mixture Reduction Using Reverse Kullback-Leibler Divergence

Tohid Ardeshiri, Umut Orguner+1 more|arXiv (Cornell University)|Aug 22, 2015

Advanced Data Compression Techniques被引用 6

一句话总结

本文提出了一种基于反向Kullback-Leibler散度（RKLD）的新颖高斯混合模型简化算法，可同时实现组件的剪枝与合并，有效保留原始混合模型中的峰值结构。通过推导解析近似以克服RKLD在计算上的不可行性，该方法实现了更低的计算复杂度（$ olimits cal{O}(N^2)$），并在保留显著组件方面优于Runnalls的前向KLD方法。

ABSTRACT

We propose a greedy mixture reduction algorithm which is capable of pruning mixture components as well as merging them based on the Kullback-Leibler divergence (KLD). The algorithm is distinct from the well-known Runnalls' KLD based method since it is not restricted to merging operations. The capability of pruning (in addition to merging) gives the algorithm the ability of preserving the peaks of the original mixture during the reduction. Analytical approximations are derived to circumvent the computational intractability of the KLD which results in a computationally efficient method. The proposed algorithm is compared with Runnalls' and Williams' methods in two numerical examples, using both simulated and real world data. The results indicate that the performance and computational complexity of the proposed approach make it an efficient alternative to existing mixture reduction methods.

研究动机与目标

• 解决现有混合模型简化方法仅能合并组件的局限性，避免原始混合模型中显著峰值的丢失。
• 开发一种基于反向KLD作为差异度量的贪心、计算高效的高斯混合模型（GMM）简化算法。
• 通过实用近似方法克服高斯混合模型之间RKLD的解析不可行性。
• 在模拟和真实世界跟踪场景中，将所提方法与Runnalls和Williams的成熟算法进行对比评估。

提出的方法

• 该算法使用反向KLD（RKLD）作为代价函数，以最小化近似混合模型与原始混合模型之间的差异，从而支持剪枝与合并操作。
• 为高斯混合模型之间的RKLD推导出解析近似，避免数值积分，降低计算成本。
• 在每一步简化过程中，利用近似RKLD评估所有可能的剪枝与合并操作，并选择使差异最小的操作。
• 该方法以贪心迭代方式实现，每步减少一个组件，直至达到期望的组件数量。
• 近似技术通过矩匹配和高斯组件的性质，简化RKLD表达式中对数项的期望计算。
• 通过多个数值示例，使用合成数据和真实世界数据，将该算法与Runnalls（基于FKLD）和Williams（基于ISE）的方法进行比较。

实验结果

研究问题

• RQ1 基于反向KLD的混合模型简化算法是否能比前向KLD方法更好地保留原始混合模型的峰值？
• RQ2 在简化过程中引入剪枝操作如何影响简化后混合模型的保真度？
• RQ3 哪些解析近似方法可使高斯混合模型之间RKLD的计算变得可行且高效？
• RQ4 与Runnalls和Williams的算法相比，所提方法在性能和计算复杂度方面表现如何？
• RQ5 当应用于受虚假点污染的数据时，该方法是否能更好地保持聚类结构？

主要发现

• 所提出的ARKL方法通过允许剪除低权重组件，成功保留了原始混合模型的峰值，而Runnalls的方法仅支持合并，无法实现剪枝。
• 在包含6个组件的模拟示例中，ARKL在捕捉真实聚类结构方面优于Runnalls和Williams的方法，尤其在保留原始混合模型的显著峰值方面表现更优。
• 在包含15个组件的真实世界跟踪示例中，ARKL成功剪除了几乎所有虚假聚类，仅合并了相关组件，从而得到更清晰、更精确的表示。
• ARKL的计算复杂度为$\mathcal{O}(N^2)$，与Runnalls的方法相当，适用于大规模混合模型的可扩展处理，而Williams的方法复杂度为$\mathcal{O}(N^4)$。
• 在所有测试场景中，ARKL方法的RKLD值均低于Runnalls和Williams的方法，证实其在最小化与原始混合模型差异方面的有效性。
• RKLD的解析近似显著减少了计算时间，同时不损失精度，使该方法适用于跟踪与滤波系统中的实时应用。