[论文解读] Generalizing Jensen and Bregman divergences with comparative convexity and the statistical Bhattacharyya distances with comparable means
本文基于抽象均值（特别是准算术均值）的比较凸性，推广了 Jensen 散度与 Bregman 散度，并引入了一种基于可比均值的 Bhattacharyya 散度新形式。主要贡献在于：当使用准算术均值时，广义 Bregman 散度获得了闭式表达式，从而实现了机器学习与统计学中的高效计算与应用。
Comparative convexity is a generalization of convexity relying on abstract notions of means. We define the Jensen divergence and the Jensen diversity from the viewpoint of comparative convexity, and show how to obtain the generalized Bregman divergences as limit cases of skewed Jensen divergences. In particular, we report explicit formula of these generalized Bregman divergences when considering quasi-arithmetic means. Finally, we introduce a generalization of the Bhattacharyya statistical distances based on comparative means using relative convexity.
研究动机与目标
- 通过基于抽象均值的比较凸性框架，将经典 Jensen 与 Bregman 散度从标准凸性推广至更广范围。
- 推导当使用准算术均值时广义 Bregman 散度的闭式表达式，以实现实际计算。
- 利用可比均值推广 Bhattacharyya 距离，尤其适用于具有非平凡结构的统计分布。
- 建立广义 Bhattacharyya 距离产生齐次散度及闭式表达式的条件。
- 展示这些广义散度在机器学习与信息论中的实用性，特别是在误差界优化与统计推断中的应用。
提出的方法
- 通过两个抽象均值 M（定义域）与 N（值域）定义广义 Jensen 散度，基于比较凸性，推广标准中点凸性。
- 将广义 Bregman 散度视为偏斜 Jensen 散度的极限，建立偏斜性与散度行为之间的联系。
- 当 M 与 N 为准算术均值时，提供广义 Bregman 散度的闭式公式，利用生成函数的反函数。
- 引入基于可比均值的广义 Bhattacharyya 距离，定义为对概率密度或质量函数应用的均值对数比。
- 建立广义 Bhattacharyya 距离成为齐次散度的条件，特别是当使用齐次均值时。
- 将该框架应用于特定分布族（如柯西分布与多变量 t 分布），通过变形指数族或幂均值展示闭式表达式。
实验结果
研究问题
- RQ1如何利用抽象均值的比较凸性推广 Jensen 与 Bregman 散度？
- RQ2当均值为准算术均值时，广义 Bregman 散度的闭式表达式是什么？
- RQ3Bhattacharyya 距离能否推广至可比均值？在何种条件下可获得闭式表达式？
- RQ4广义散度在齐次性下的行为如何？这对统计学习有何影响？
- RQ5广义 Bhattacharyya 距离与 Chernoff 信息在误差概率界方面有何关系？
主要发现
- 在准算术均值下，广义 Bregman 散度具有闭式表达式，支持高效计算，并可无缝集成至机器学习流程中。
- 当通过生成函数将输入空间嵌入表示时，广义 Bregman 散度与标准 Bregman 散度保持共形关系。
- 基于可比均值的广义 Bhattacharyya 距离为对称、非负散度，对离散分布及某些连续族可实现闭式计算。
- 对于柯西分布族，使用标准均值 (G,A) 时，广义 Bhattacharyya 距离无法获得闭式表达，但可通过变形指数族进行定制。
- 当使用齐次比较均值时，广义 Bhattacharyya 距离成为齐次散度，保持尺度不变性。
- 该框架不仅支持可分离凸生成器的学习，还可学习定义均值的底层函数，实现灵活、数据驱动的散度设计。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。