[论文解读] Computing the Kullback-Leibler Divergence between two Generalized Gamma Distributions

Christian Bauckhage|arXiv (Cornell University)|Jan 27, 2014

Statistical Distribution Estimation and Applications参考文献 14被引用 9

一句话总结

本文推导出两个广义伽马分布之间Kullback-Leibler（KL）散度的闭式解析解，该分布是一类在可靠性分析、无线通信和数据科学中广泛应用的连续概率分布族。该方法通过变量代换和积分变换，利用伽马函数恒等式与多ψ函数（digamma function），得到一个紧凑的公式，其中涉及形状参数、尺度参数以及伽马函数和ψ函数。

ABSTRACT

We derive a closed form solution for the Kullback-Leibler divergence between two generalized gamma distributions. These notes are meant as a reference and provide a guided tour towards a result of practical interest that is rarely explicated in the literature.

研究动机与目标

• 为两个广义伽马分布之间的KL散度提供一个闭式解析解，该分布广泛应用于可靠性分析、信号衰落和数据分析。
• 解决尽管广义伽马分布在文献中被广泛应用，但其KL散度尚无显式表达式的现状。
• 促进图像检索、降维和网络扩散建模等应用中的模型选择与统计推断。
• 通过恢复已知特例（如Weibull分布和伽马分布）的结果，验证推导公式的正确性。

提出的方法

• 通过将两个广义伽马密度的对数比展开为四个不同的积分（基于对数项），推导KL散度。
• 使用变量代换 $ y = (x/a_1)^{p_1} $，将积分转化为涉及伽马函数及其导数的形式。
• 利用伽马函数 $ \Gamma(\cdot) $ 和多ψ函数 $ \psi(\cdot) $ 的性质，特别是 $ \psi(z) = \frac{d}{dz} \ln \Gamma(z) $，计算每个积分。
• 将四个积分的结果——常数项、对数矩项、倒尺度项和自散度项——合并为一个单一的闭式表达式。
• 将解应用于特例：当 $ d = p $ 时，退化为两个Weibull分布之间的KL散度；当 $ p = 1 $ 时，退化为两个伽马分布之间的KL散度。
• 通过确认该公式在文献中已知特例（如Weibull和伽马分布）下的一致性，验证其正确性。

实验结果

研究问题

• RQ1 两个具有任意参数的广义伽马分布之间的KL散度是否存在闭式表达式？
• RQ2 对于这一灵活的分布族，能否在无需数值积分的情况下高效计算KL散度？
• RQ3 推导出的公式在作为Weibull和伽马分布特例时，是否能正确退化为已知的KL散度表达式？
• RQ4 该方法是否可系统性地应用于广义伽马族中的其他分布，通过变换技术实现？

主要发现

• 两个广义伽马分布之间的KL散度由一个闭式表达式给出，其中包含伽马函数、多ψ函数以及形状参数和尺度参数。
• 当 $ d_1 = p_1 $ 且 $ d_2 = p_2 $ 时，该公式正确退化为两个Weibull分布之间的已知KL散度，与先前工作保持一致。
• 当 $ p_1 = p_2 = 1 $ 时，公式也正确退化为两个伽马分布之间的标准KL散度，验证了其在该极限下的正确性。
• 该解计算高效，避免了数值积分，适用于优化和模型选择任务。
• 中间结果 $ \mathbb{E}_{f_1}[\ln X] $ 的推导为 $ \frac{1}{p_1} \psi\left(\frac{d_1}{p_1}\right) + \ln a_1 $，是最终公式的关键组成部分。
• KL散度的最终表达式在公式（28）中明确给出，以紧凑的解析形式结合了对数项、伽马函数项和幂次项。