[论文解读] On the symmetrical Kullback-Leibler Jeffreys centroids

Frank Nielsen|arXiv (Cornell University)|Mar 29, 2013

Advanced Statistical Methods and Models参考文献 19被引用 7

一句话总结

本文提出了一种基于Lambert W函数的正直方图Jeffreys中心点的闭式解析解，并证明了对该解进行归一化可得到频率直方图Jeffreys中心点的紧致且保证成立的近似。该方法实现了基于对称散度的高效且精确的k-means聚类，在基于直方图的分类与物体分类任务中优于传统方法。

ABSTRACT

Due to the success of the bag-of-word modeling paradigm, clustering histograms has become an important ingredient of modern information processing. Clustering histograms can be performed using the celebrated $k$-means centroid-based algorithm. From the viewpoint of applications, it is usually required to deal with symmetric distances. In this letter, we consider the Jeffreys divergence that symmetrizes the Kullback-Leibler divergence, and investigate the computation of Jeffreys centroids. We first prove that the Jeffreys centroid can be expressed analytically using the Lambert $W$ function for positive histograms. We then show how to obtain a fast guaranteed approximation when dealing with frequency histograms. Finally, we conclude with some remarks on the $k$-means histogram clustering.

研究动机与目标

• 为直方图聚类中对称散度的需求提供解决方案，特别是在文本和图像分类的词袋模型中。
• 计算一组正直方图和频率直方图的Jeffreys中心点——即对称Kullback-Leibler散度最小化器。
• 利用Lambert W函数为正直方图的Jeffreys中心点提供闭式解。
• 证明正中心点的归一化可作为真实频率中心点的可证明紧致近似。
• 通过用快速且保证成立的近似替代精确中心点计算，实现基于Jeffreys散度的高效k-means聚类。

提出的方法

• 利用Lambert W函数推导正直方图Jeffreys中心点的解析形式，解决Jeffreys散度和的最小化问题。
• 提出一种固定点迭代算法以计算频率中心点的近似值，通过涉及Lambert W函数的闭式表达式更新各箱值。
• 引入基于归一化的近似方法：归一化的正中心点作为真实频率中心点的保证上界近似。
• 采用具有收敛性保证的固定点迭代方案，使用公式 $ \tilde{c}^{i}_{l} = \frac{\tilde{a}^{i}}{W\left(\frac{\tilde{a}^{i}e^{\lambda_{l-1}+1}}{\tilde{g}^{i}}\right)} $ 和 $ \lambda_{l} = -\mathrm{KL}(\tilde{c}_{l}:\tilde{g}) $ 更新中心点估计。
• 通过高精度算术和R语言实现的数值实验验证收敛速度与准确性。
• 将固定点方法与二分查找进行比较，显示其收敛速度显著更快（平均5–7次迭代 vs. 双精度下约52次迭代）。

实验结果

研究问题

• RQ1 一组正直方图的Jeffreys中心点能否使用特殊函数表示为闭式？
• RQ2 对正Jeffreys中心点进行归一化是否可得到对频率Jeffreys中心点的可证明准确近似？
• RQ3 与传统二分查找相比，固定点迭代方案在中心点计算中的收敛速率如何？
• RQ4 在真实世界与合成数据中，归一化的正中心点与真实频率中心点之间的经验性能差距是多少？
• RQ5 闭式归一化中心点能否在使用Jeffreys散度的k-means聚类中有效应用？

主要发现

• 正直方图的Jeffreys中心点可通过Lambert W函数获得闭式解，实现精确且高效的计算。
• 对正Jeffreys中心点进行归一化可得到真实频率中心点的保证近似，合成二值直方图试验中最大性能比 $ \alpha_{\text{max}} \sim 1.00181506 $。
• 归一化正中心点的平均性能比 $ \bar{\alpha} \sim 1.0000009 $，表明其与真实频率中心点性能几乎完全一致。
• 固定点迭代方案平均仅需5–7次迭代即可收敛，显著优于二分查找（双精度下约需52次迭代）。
• 该方法可实现基于Jeffreys散度的收敛变分k-means算法，即使使用近似中心点，仍能保证单调收敛。
• 在Caltech-256数据集上的实证评估表明，归一化的正中心点与真实频率中心点在平均Jeffreys散度上表现几乎完全一致。