[论文解读] A generalization of the Jensen divergence: The chord gap divergence

Frank Nielsen|arXiv (Cornell University)|Sep 29, 2017

Advanced Statistical Methods and Models参考文献 22被引用 3

一句话总结

本文提出了弦 gap 散度（chord gap divergence），这是一种三参数广义化的 Jensen 散度，扩展了偏斜 Jensen 散度与 Bhattacharyya 散度，能够更优地建模指数族中的统计差异性。该文推导了该散度的泰勒-拉格朗日余项形式，并通过收敛性分析证明了在新度量下 k-means++ 聚类算法的竞争力。

ABSTRACT

We introduce a novel family of distances, called the chord gap divergences, that generalizes the Jensen divergences (also called the Burbea-Rao distances), and study its properties. It follows a generalization of the celebrated statistical Bhattacharyya distance that is frequently met in applications. We report an iterative concave-convex procedure for computing centroids, and analyze the performance of the $k$-means++ clustering with respect to that new dissimilarity measure by introducing the Taylor-Lagrange remainder form of the skew Jensen divergences.

研究动机与目标

• 将 Jensen 散度广义化为一个包含偏斜 Jensen 与 Bhattacharyya 距离作为特例的三参数散度族。
• 通过凸函数不等式，为指数族中的统计差异性度量提供统一框架。
• 通过引入一种灵活可调的散度度量，提升聚类与信息融合的性能。
• 利用泰勒-拉格朗日余项形式，分析 k-means++ 在新散度下的收敛性与性能。
• 通过公开 Java 源代码，支持可复现研究。

提出的方法

• 提出弦 gap 散度作为偏斜 Jensen 散度的三参数广义化，使用参数 α、β 与 γ。
• 通过带精确余项的二阶泰勒展开，推导弦 gap 散度的泰勒-拉格朗日余项形式。
• 证明弦 gap 散度在极限情况下（α→0 或 α→1）退化为 Bregman 散度。
• 提出一种迭代凸-凹过程，用于在弦 gap 散度下计算中心点。
• 利用弦 gap 散度分析 k-means++ 的性能，证明其在该散度下为 Oρ(log k)-竞争力，其中 ρ 为基于 Hessian 矩阵谱性质的条件数。
• 证明弦 gap 散度在同属一个指数族的分布下，可推广为偏斜 Bhattacharyya 距离。

实验结果

研究问题

• RQ1 如何将 Jensen 散度广义化为一个三参数族，使其包含偏斜 Jensen 散度与 Bhattacharyya 散度作为特例？
• RQ2 弦 gap 散度在带精确余项的二阶泰勒展开下的解析结构为何？
• RQ3 在极限情况下，弦 gap 散度与 Bregman 散度及 Kullback-Leibler 散度有何关系？
• RQ4 能否基于余项误差界，证明 k-means++ 在弦 gap 散度下具有竞争力？
• RQ5 Hessian 矩阵在刻画弦 gap 散度曲率方面起何作用？

主要发现

• 弦 gap 散度广义化了偏斜 Jensen 散度，并在分布属于同一指数族时，将 Bhattacharyya 距离作为特例包含在内。
• 弦 gap 散度的泰勒-拉格朗日余项形式可表示为 (p−q)⊤H_F^{α,β,γ}(p:q)(p−q)，其中 Hessian 矩阵项依赖于凸组合中的中间点。
• 弦 gap 散度的中心点可通过迭代凸-凹过程计算，对严格凸函数可保证收敛。
• k-means++ 算法在弦 gap 散度下被证明为 Oρ(log k)-竞争力，其中 ρ 为基于 Hessian 矩阵谱性质的条件数。
• 偏斜 Jensen 散度具有泰勒-拉格朗日余项形式：J_F^{(α)}(p:q) = (α(1−α)/2)(p−q)⊤(α∇²F(ξ₁)+(1−α)∇²F(ξ₂))(p−q)。
• 当 α→0 或 α→1 时，弦 gap 散度分别收敛于 Bregman 散度 B_F(q:p) 或 B_F(p:q)，证实其与已知散度的一致性。