[论文解读] A Sequence of Inequalities among Difference of Symmetric Divergence Measures

Inder J. Taneja|arXiv (Cornell University)|Apr 1, 2011

Mathematical Inequalities and Applications参考文献 8被引用 3

一句话总结

本文通过推广包含著名对数型（如 J-散度、Jensen-Shannon）和非对数型（如 Hellinger、卡方、三角 discrimination、d-散度）散度的两个单参数族，建立了对称散度度量之间差异的一系列不等式。关键贡献在于提出一个统一的不等式框架，揭示了这些散度差异之间的层级关系。

ABSTRACT

In this paper we have considered two one parametric generalizations. These two generalizations have in particular the well known measures such as: J-divergence , Jensen-Shannon divergence and arithmetic-geometric mean divergence . These three measures are with logarithmic expressions. Also, we have particular cases the measures such as: Hellinger discrimination , symmetric $\chi ^2$- divergence , and triangular discrimination . These three measures are also well-known in the literature of statistics, and are without logarithmic expressions. Still, we have one more non logarithmic measure as particular case calling it d-divergence . These seven measures bear an interesting inequality. Based on this inequality, we have considered different difference of divergence measures and established a sequence of inequalities among themselves.

研究动机与目标

• 将现有的对称散度度量统一并推广为两个单参数族。
• 识别并分析这些族中作为特例的对数型与非对数型散度度量。
• 建立一个全面的不等式框架，以控制这些散度度量之间差异的关系。
• 通过推导出的一系列不等式，揭示散度之间的结构性关系。

提出的方法

• 定义两个对称散度度量的单参数推广，涵盖已知散度作为特例。
• 识别推广族中的特定成员：J-散度、Jensen-Shannon、算术-几何平均散度（对数型），以及 Hellinger、对称卡方、三角 discrimination、d-散度（非对数型）。
• 推导一个主不等式，关联这些散度度量对之间差异的关系。
• 利用一般形式，系统比较并排序整个度量族中差异的大小关系。
• 将该不等式应用于展示不同散度差异之间的支配或排序关系。

实验结果

研究问题

• RQ1 如何在统一的参数框架下将对数型与非对数型对称散度度量统一？
• RQ2 这些散度度量之间的差异存在何种层级关系？
• RQ3 是否可以由单一不等式控制广义族中多个散度差异的排序？
• RQ4 该不等式对信息论与统计学中比较统计散度具有何种意义？

主要发现

• 一个单一不等式控制了对数型与非对数型族中所有对称散度度量之间差异的相对排序。
• J-散度、Jensen-Shannon 和算术-几何平均散度被证明是第一个广义族的特例。
• Hellinger discrimination、对称卡方散度、三角 discrimination 和 d-散度被识别为第二个广义族的特例。
• 推导出的不等式序列表明，某些散度对之间的差异系统性地受其他差异的边界约束，从而在它们之间建立了层级结构。