[论文解读] Cumulant-free closed-form formulas for some common (dis)similarities between densities of an exponential family

Frank Nielsen, Richard Nock|arXiv (Cornell University)|Mar 5, 2020

Bayesian Methods and Mixture Models参考文献 45被引用 4

一句话总结

本论文为指数族密度之间的常见（差异）相似性——如Kullback-Leibler、Bhattacharyya、Hellinger及α-散度——提供了无需累积量函数的闭式公式。通过利用拟算术平均与自然参数化，该方法避开了累积量函数的显式计算，仅通过部分密度分解和反向参数映射，即可借助现有API实现高效计算。

ABSTRACT

It is well-known that the Bhattacharyya, Hellinger, Kullback-Leibler, $α$-divergences, and Jeffreys' divergences between densities belonging to a same exponential family have generic closed-form formulas relying on the strictly convex and real-analytic cumulant function characterizing the exponential family. In this work, we report (dis)similarity formulas which bypass the explicit use of the cumulant function and highlight the role of quasi-arithmetic means and their multivariate mean operator extensions. In practice, these cumulant-free formulas are handy when implementing these (dis)similarities using legacy Application Programming Interfaces (APIs) since our method requires only to partially factorize the densities canonically of the considered exponential family.

研究动机与目标

• 推导指数族密度之间关键统计（差异）相似性的闭式表达式，且不显式使用累积量函数。
• 通过仅使用标准软件API和部分密度分解，实现Kullback-Leibler、Bhattacharyya和Hellinger等散度的实际计算。
• 证明这些（差异）相似性可通过自然参数映射导出的广义加权拟算术平均进行计算。
• 当累积量函数难以处理或不可用时，提供散度的替代计算路径。

提出的方法

• 该方法利用指数族密度的自然参数化，将（差异）相似性表达为自然参数映射θ(λ)的逆及其相关拟算术平均算子。
• 通过在支撑集X中的参考点ω，构建Bhattacharyya系数及相关散度，利用p(ω;λ)作为计算基础。
• 对于Kullback-Leibler散度，采用基于极限的表达式，结合α-偏斜Bhattacharyya距离或加权平均的一阶近似，避免累积量的计算。
• 还采用Legendre-Fenchel对偶公式，将KL散度表示为熵、矩和对数密度比的组合，从而避开累积量函数。
• 该方法进一步允许将KL散度表示为s ≤ D+1个样本点ω_i上的对数密度比加权和，这些点与源分布的一阶矩相匹配。
• 实现依赖标准参数密度库，通过点值评估和反向参数函数避免符号积分。

实验结果

研究问题

• RQ1 指数族密度之间的常见（差异）相似性能否在不显式计算累积量函数的情况下表达？
• RQ2 如何利用拟算术平均构造Bhattacharyya和Hellinger等散度的闭式公式？
• RQ3 当累积量函数难以处理时，Kullback-Leibler散度存在哪些替代计算路径？
• RQ4 能否使用有限个样本点ω_i，通过对其对数密度比求和，精确表示KL散度？

主要发现

• Bhattacharyya系数及相关散度（Hellinger、α-散度）可使用支撑集X中的任意点ω计算，公式仅依赖于p(ω;λ)和参数的广义拟算术平均。
• Kullback-Leibler散度可表示为α-偏斜Bhattacharyya距离的极限形式，通过符号或数值近似避免累积量函数的计算。
• 对于单变量和多变量高斯族，KL散度求和公式所需的样本点ω_i可显式构造，以匹配一阶矩。
• KL散度可重写为s ≤ D+1个点上的对数密度比之和，其中D为参数空间的维数，从而在不计算累积量的情况下实现精确计算。
• Jeffreys散度被证明等于自然参数差与充分统计期望差的内积，该形式与累积量函数无关。