[论文解读] A family of statistical symmetric divergences based on Jensen's inequality

Frank Nielsen|arXiv (Cornell University)|Sep 21, 2010

Statistical Mechanics and Entropy参考文献 16被引用 61

一句话总结

本文基于Jensen不等式，提出了一类参数化的对称统计散度——对称α-偏斜Jensen散度——统一了Jeffreys散度与Jensen-Shannon散度。该方法通过参数α实现这两种散度之间的平滑插值，采用通用算法计算唯一中心点，在Caltech 101图像数据集上，α = 1/4时分类性能得到提升。

ABSTRACT

We introduce a novel parametric family of symmetric information-theoretic distances based on Jensen's inequality for a convex functional generator. In particular, this family unifies the celebrated Jeffreys divergence with the Jensen-Shannon divergence when the Shannon entropy generator is chosen. We then design a generic algorithm to compute the unique centroid defined as the minimum average divergence. This yields a smooth family of centroids linking the Jeffreys to the Jensen-Shannon centroid. Finally, we report on our experimental results.

研究动机与目标

• 通过在Jensen不等式中应用，将Jeffreys散度与Jensen-Shannon散度统一为一个连续的对称散度族。
• 开发一种通用算法，用于计算在该散度族下最小化平均散度的唯一中心点。
• 实现基于数据的最优α参数选择，以应用于信息检索与聚类任务。
• 证明对于指数族分布，中心点计算可简化为自然参数上的对称α-Jensen散度，从而实现闭式解。
• 通过二值图像分类任务的实证验证，评估α参数化散度的性能表现。

提出的方法

• 提出一个参数化的对称散度族，即对称α-偏斜Jensen散度，其来源于对凸生成函数应用Jensen不等式。
• 将散度定义为两个偏斜K散度的平均值：$\mathrm{JS}_\alpha(p,q) = \frac{1}{2}(K_\alpha(p:q) + K_\alpha(q:p))$，其中 $K_\alpha(p:q) = \int p(x)\log\frac{p(x)}{(1-\alpha)p(x) + \alpha q(x)}dx$。
• 引入一种迭代定点算法，用于计算使对集合中所有分布的平均散度最小的中心点，利用凸优化与凹-凸规划方法。
• 证明对于指数族分布，密度上的对称α-Bhattacharyya散度可简化为自然参数上的对称α-Jensen散度，从而实现闭式中心点计算。
• 在Caltech 101数据集的直方图特征上，采用带α参数化的散度与最近邻规则，评估不同α值下的分类性能。
• 通过调优α以优化分类准确率，结果表明性能随α变化，且对数据几何结构敏感。

实验结果

研究问题

• RQ1 能否构建一个连续的对称散度族，统一Jeffreys散度与Jensen-Shannon散度？
• RQ2 在该新散度族下，如何高效且唯一地计算一组概率分布的中心点？
• RQ3 在实际应用（如分类）中，对称α-偏斜Jensen散度中的α选择是否显著影响性能？
• RQ4 在该散度框架下，是否可对同属一个指数族的分布实现中心点的闭式计算？
• RQ5 是否存在一个最优α值，可使真实世界数据（如图像直方图）的分类误差最小化？

主要发现

• 所提出的对称α-偏斜Jensen散度族在Jeffreys散度（α = 1）与Jensen-Shannon散度（α = 1/2）之间实现平滑插值，且在测试的分类任务中，α = 1/4时性能最佳。
• 对于同属一个指数族的分布，对称α-Bhattacharyya散度下的中心点，等价于其自然参数在对称α-Jensen散度下的中心点，从而实现闭式解。
• 中心点唯一，且可通过定点迭代算法计算，确保在Ali-Silvey-Csiszár类凸散度中收敛。
• 在Caltech 101上的实证结果表明，分类准确率随α变化，α = 1/4时达到约88%的最高正确率。
• α = 1/4的配置所对应的散度介于Jeffreys与Jensen-Shannon散度之间，表明其具有更高的鲁棒性，并更契合底层数据几何结构。
• 对称α-偏斜Jensen散度的平方根构成一个度量，满足三角不等式，支持其在基于度量的学习与聚类中的应用。