[论文解读] A Note on the Kullback-Leibler Divergence for the von Mises-Fisher distribution

Tom Diethe|arXiv (Cornell University)|Feb 25, 2015

Bayesian Methods and Mixture Models参考文献 7被引用 5

一句话总结

本文推导了在 d 维超球面上 von Mises-Fisher (vMF) 分布的 Kullback-Leibler (KL) 散度，给出了两个 vMF 分布之间 KL 散度的闭式表达式，以及在均匀先验情况下的简化形式。推导过程利用了修正贝塞尔函数和归一化常数的性质，使得在方向统计和球面上的贝叶斯推断中能够高效计算。

ABSTRACT

We present a derivation of the Kullback Leibler (KL)-Divergence (also known as Relative Entropy) for the von Mises Fisher (VMF) Distribution in $d$-dimensions.

研究动机与目标

• 推导两个在 d 维超球面上的 von Mises-Fisher (vMF) 分布之间的 Kullback-Leibler (KL) 散度。
• 针对超球面上均匀先验的特殊情况，简化 KL 散度表达式。
• 在涉及方向数据的贝叶斯推断和机器学习应用中，实现 KL 散度的高效计算。
• 使用修正贝塞尔函数和 Gamma 函数等特殊函数，提供数学上严谨的推导。

提出的方法

• 利用相对熵的积分定义，推导两个具有不同集中参数和均值方向的 vMF 分布之间的 KL 散度。
• 将归一化常数表示为第一类修正贝塞尔函数 $ I_{d/2-1}( heta) $ 的形式，并将其与 Gamma 函数关联。
• 应用涉及指数积分和Incomplete Gamma 函数的积分恒等式，以简化散度表达式中的对数项。
• 使用恒等式 $ \int_{-1}^{1}(1-t)^{d}e^{t\kappa} = -2^{d-1}E_{-d}(2\kappa)e^{\kappa} $ 来处理归一化项。
• 通过利用后验 vMF 分布下 $ \mathbf{x} $ 的期望等于其均值方向 $ \boldsymbol{\mu}_q $ 的事实，对表达式进行简化。
• 当先验为均匀分布时（即 $ \kappa_p \to 0 $），推导出 KL 散度的紧凑形式，结果为 $ \mathrm{KL}(q||p) = \kappa_q - \frac{d-1}{2}\log 2 $。

实验结果

研究问题

• RQ1 在 d 维超球面上，两个 von Mises-Fisher 分布之间的 KL 散度的闭式表达式是什么？
• RQ2 当先验在超球面上均匀分布时，KL 散度如何简化？
• RQ3 修正贝塞尔函数和 Gamma 函数在归一化和散度计算中起到什么作用？
• RQ4 在高维空间中，KL 散度对小和大集中参数 $ \kappa $ 的行为如何？
• RQ5 所推导的 KL 散度能否在方向数据的 PAC-Bayesian 一般化界中有效应用？

主要发现

• 两个 vMF 分布之间的 KL 散度推导为 $ \kappa_q - \kappa_p \boldsymbol{\mu}_p^T \boldsymbol{\mu}_q + \frac{d-1}{2}\log \kappa_q + \sum_{m=1}^{(d-3)/2} \frac{\kappa_q^m}{m!} - \frac{(d-1)^2}{4}\log \kappa_p + \frac{d-3}{2} \left(\frac{d-3}{2} + 1\right) \log \left(\frac{d-3}{2}\right) - \left(\frac{d-3}{2}\right)^2 + 1 $，该结果适用于奇数 $ d $。
• 在均匀先验（$ \kappa_p \to 0 $）的特殊情况下，KL 散度简化为 $ \kappa_q - \frac{d-1}{2}\log 2 $，显著降低了计算复杂度。
• 推导依赖于涉及指数积分和修正贝塞尔函数的积分恒等式，特别是利用 $ \int_{-1}^{1}(1-t)^d e^{t\kappa} dt $ 来处理归一化项。
• 项 $ \sum_{m=1}^{(d-3)/2} \frac{\kappa_q^m}{m!} $ 随 $ \kappa_q $ 和维度 $ d $ 增大而增长，表明在 $ \kappa_q $ 较大时可能存在数值不稳定性。
• 对 $ \kappa_q $ 和 $ \kappa_p $ 的依赖关系表现良好，且在均匀先验下的简化形式适用于 PAC-Bayesian 一般化界。
• 该结果适用于奇数 $ d $，偶数 $ d $ 通过增加一个零维来处理，保持了推导结构的一致性。