[论文解读] On the Centroids of Symmetrized Bregman Divergences

Frank Nielsen, Richard Nock|ArXiv.org|Nov 21, 2007

Statistical Mechanics and Entropy参考文献 24被引用 15

一句话总结

本文提出了一种基于测地线路径的几何算法，用于计算对称Bregman中心——这是基于中心的聚类中的关键组件——该方法利用左右两侧中心之间的测地线路径。论文证明了所有三种中心类型的唯一性，并提出了一种基于Legendre对偶性和测地线行走的可证明快速、高效的近似方法，显著优于以往用于多元正态分布聚类的迭代求解器。

ABSTRACT

In this paper, we generalize the notions of centroids and barycenters to the broad class of information-theoretic distortion measures called Bregman divergences. Bregman divergences are versatile, and unify quadratic geometric distances with various statistical entropic measures. Because Bregman divergences are typically asymmetric, we consider both the left-sided and right-sided centroids and the symmetrized centroids, and prove that all three are unique. We give closed-form solutions for the sided centroids that are generalized means, and design a provably fast and efficient approximation algorithm for the symmetrized centroid based on its exact geometric characterization that requires solely to walk on the geodesic linking the two sided centroids. We report on our generic implementation for computing entropic centers of image clusters and entropic centers of multivariate normals, and compare our results with former ad-hoc methods.

研究动机与目标

• 将中心的概念推广至非对称Bregman散度，以统一几何距离与信息理论距离。
• 解决在高维设置（如多元正态分布）下，计算对称Bregman中心缺乏高效且可证明收敛的算法的问题。
• 为左、右两侧中心提供闭式解，并为对称中心提供一种几何近似方法。
• 通过用基于原理的几何方法替代启发式或迭代方法，实现内容驱动图像检索和统计模式识别中更快、更准确的基于中心的聚类。

提出的方法

• 提出三种中心类型：左侧行（$c_L^F$）、右侧行（$c_R^F$）和对称中心（$c^F$），定义为最小化至中心的平均Bregman散度的点。
• 通过Bregman生成函数的共轭函数和Legendre对偶性，推导出左、右两侧中心的闭式表达式，其形式为广义均值。
• 将对称中心表征为在对偶Bregman几何中连接左右两侧中心的测地线上的点，从而可通过二分搜索实现几何近似。
• 设计了一种可证明快速且高效的算法，沿该测地线行走以收敛至对称中心，避免了昂贵的矩阵求逆和特征系统求解。
• 将该方法应用于基于Kullback-Leibler和Itakura-Saito散度计算图像簇和多元正态分布的熵中心。
• 利用指数族密度的自然参数与期望参数的典范分解（例如多元正态分布），通过Legendre变换实现高效计算。

实验结果

研究问题

• RQ1 是否可以为非对称Bregman散度定义唯一且可高效计算的中心，而这类散度在信息几何和统计聚类中具有核心地位？
• RQ2 鉴于对称Bregman中心本身并非Bregman散度且缺乏闭式解，如何高效计算其值？
• RQ3 能否利用左右两侧中心之间的测地线路径，设计一种快速且收敛的对称中心计算算法？
• RQ4 与基于Riccati方程的现有迭代求解器（如用于多元正态中心）相比，所提出的几何算法在速度和精度上表现如何？
• RQ5 该方法在多大程度上可推广至高斯分布以外的其他指数族，如图像直方图或多项分布？

主要发现

• 在Bregman散度下，一组点的左、右两侧中心是唯一定义的，且对应于广义均值，其闭式表达式通过Legendre对偶性推导得出。
• 对称Bregman中心是唯一定义的，且位于对偶Bregman几何中连接左右两侧中心的测地线上。
• 所提出的测地线二分行走算法以对数时间收敛至对称中心，显著快于基于Riccati方程的迭代求解器。
• 对于多元正态分布，该算法避免了昂贵的矩阵求逆和特征系统计算，转而采用在测地线上简单路径追踪的程序。
• 该方法在计算图像簇和多元正态混合模型的熵中心方面实现了高精度与高效率，优于启发式或数值方法。
• 通过对称中心作为平均对称散度最小化器的几何表征，建立了收敛性和最优性的理论保证。