[论文解读] Bounded divergence measures based on Bhattacharyya coefficient

Ahmed Roman, Shivakumar Jolad+1 more|arXiv (Cornell University)|Jan 2, 2012

Advanced Statistical Methods and Models参考文献 26被引用 2

一句话总结

本文提出了有界巴氏距离（Bounded Bhattacharyya Distance, BBD），一种基于巴氏系数的对称、有界且半正定的散度，无需分布之间满足绝对连续性条件。证明其属于Csiszár f-散度类，与Hellinger散度和Jensen-Shannon散度相关，可界定贝叶斯错误概率，其曲率与费舍尔信息量对应，从而可在指数族中计算Rao测地距离。

ABSTRACT

We introduce a new entropy based measure, the bounded Bhattacharyya distance (BBD), for quantifying the dissimilarity between probability distributions. BBD is based on the Bhattacharyya coefficient (fidelity) , and is symmetric, positive semi-definite, and bounded. Unlike the Kullback-Leibler divergence, BBD does not require probability density functions to be absolutely continuous with respect to each other. We show that BBD belongs to the class of Csiszar f-divergence and derive certain relationships between BBD and well known measures such as Bhattacharyya, Hellinger and Jensen-Shannon divergence. Bounds on the Bayesian error probability are established with BBD measure. We show that the curvature of BBD in the parameter space of families of distributions is proportional to the Fisher information. For distributions with vector valued parameters, the curvature matrix can be used to obtain the Rao geodesic distance between them. We also discuss a potential application of probability distance measures in model selection.

研究动机与目标

• 开发一种新的概率散度度量，具备对称性、有界性，且不要求分布之间满足绝对连续性。
• 建立有界巴氏距离（BBD）与已知散度（如巴氏、Hellinger、Jensen-Shannon散度）之间的理论联系。
• 利用BBD度量推导贝叶斯错误概率的上下界。
• 将参数空间中BBD的曲率与费舍尔信息矩阵关联，从而在指数族中实现测地距离的计算。
• 通过信息论原理探索BBD在模型选择中的应用价值。

提出的方法

• 提出有界巴氏距离（BBD）作为巴氏系数（保真度）的变换，确保其对称性与有界性。
• 证明BBD属于Csiszár f-散度类，从而可应用已有的f-散度性质。
• 推导BBD与其他散度（包括Hellinger和Jensen-Shannon散度）之间的解析关系。
• 利用BBD度量建立贝叶斯错误概率的上下界。
• 分析指数族参数空间中BBD的曲率，证明其与费舍尔信息矩阵成正比。
• 利用BBD的曲率矩阵计算向量参数族中分布之间的Rao测地距离。

实验结果

研究问题

• RQ1 如何在不依赖绝对连续性条件的前提下，从巴氏系数构造出有界、对称且半正定的散度？
• RQ2 BBD与巴氏、Hellinger、Jensen-Shannon等知名f-散度之间存在何种关系？
• RQ3 BBD能否用于界定贝叶斯分类错误概率？这些界限的紧致性如何？
• RQ4 BBD在参数空间中的曲率与费舍尔信息矩阵有何关联？
• RQ5 BBD的曲率矩阵能否用于定义参数族中分布之间的测地距离？

主要发现

• 有界巴氏距离（BBD）具有对称性、半正定性，且取值范围在0到1之间，适用于概率分布的比较。
• BBD被严格证明属于Csiszár f-散度类，从而可应用一般f-散度的理论结果。
• 与部分经典散度相比，BBD对贝叶斯错误概率的界定更紧致，尤其在分布重叠较低时表现更优。
• BBD在参数空间中的曲率与费舍尔信息矩阵成正比，从而将其与信息几何理论关联。
• 对于具有向量参数的分布族，BBD的曲率矩阵可导出Rao测地距离，实现内在度量的计算。
• BBD在模型选择中具有应用潜力，其几何与概率特性支持对统计模型的高效比较。