[论文解读] Chernoff information of exponential families

Frank Nielsen|arXiv (Cornell University)|Feb 14, 2011

Statistical Methods and Inference参考文献 22被引用 56

一句话总结

本论文通过信息几何方法，提出了指数族中切尔诺夫信息的闭式解法以及一种高效的测地线二等分算法。研究表明，最优切尔诺夫点对应于指数测地线与右侧Bregman Voronoi二等分线的交点，从而实现了对高斯分布和多项式分布等分布的切尔诺夫散度的精确或高精度数值逼近。

ABSTRACT

Chernoff information upper bounds the probability of error of the optimal Bayesian decision rule for $2$-class classification problems. However, it turns out that in practice the Chernoff bound is hard to calculate or even approximate. In statistics, many usual distributions, such as Gaussians, Poissons or frequency histograms called multinomials, can be handled in the unified framework of exponential families. In this note, we prove that the Chernoff information for members of the same exponential family can be either derived analytically in closed form, or efficiently approximated using a simple geodesic bisection optimization technique based on an exact geometric characterization of the "Chernoff point" on the underlying statistical manifold.

研究动机与目标

• 解决统计分类与假设检验中切尔诺夫信息计算不可行的问题。
• 为指数族（包括高斯分布、泊松分布和多项式分布）提供统一的切尔诺夫信息计算框架。
• 推导切尔诺夫点的几何表征，即其为指数测地线与Bregman Voronoi二等分线的交点。
• 开发一种数值稳定且收敛的测地线二等分算法，用于在高维或非精确情形下近似最优 $α$-系数。

提出的方法

• 将切尔诺夫信息重表述为自然参数上的最大 $α$-Jensen散度，从而在指数族中实现解析处理。
• 通过几何优化求解最优 $α$-系数：切尔诺夫点位于两个分布之间的指数测地线与右侧Bregman Voronoi二等分线的交点上。
• 提出一种测地线二等分算法，通过在自然参数空间中迭代细化 $α$-区间，直至收敛至切尔诺夫点。
• 利用自然参数与期望参数之间的对偶性，分别在两种坐标系中使用Bregman散度表达二等分线条件。
• 利用Bregman散度的正交性确保算法收敛，并允许对切尔诺夫信息实现任意精度的近似。
• 对于单参数指数族，该方法可导出切尔诺夫散度的闭式表达式。

实验结果

研究问题

• RQ1 对于同一指数族的成员，切尔诺夫信息能否以闭式表达？
• RQ2 最优 $α$-系数在统计流形上的几何结构是什么？
• RQ3 当不存在闭式解时，如何高效近似切尔诺夫点？
• RQ4 是否存在一种基于信息几何原理的数值稳定优化方法，用于计算切尔诺夫散度？

主要发现

• 对于单参数指数族，切尔诺夫信息可通过自然参数的 $α$-Jensen散度获得闭式解析解。
• 最优 $α$-系数对应于统计流形上指数测地线与右侧Bregman Voronoi二等分线的交点。
• 测地线二等分算法线性收敛，通过在自然参数空间中迭代细化 $α$-区间，可实现对切尔诺夫信息的任意精度近似。
• 切尔诺夫点在几何上被表征为指数测地线上唯一满足与两个源分布Bregman散度相等的点。
• 与直接数值优化相比，该方法在高维情形下具有显著的计算优势。
• 该框架通过统一的几何与解析方法，整合了高斯分布、泊松分布和多项式分布等常见分布的处理。