[论文解读] Computing the Kullback-Leibler Divergence between two Weibull Distributions

Christian Bauckhage|arXiv (Cornell University)|Oct 14, 2013

Statistical Mechanics and Entropy参考文献 11被引用 17

一句话总结

本文推导出两个威布尔分布之间Kullback-Leibler（KL）散度的闭式解析解，利用变量替换和伽马函数与多ψ函数的性质。主要贡献是基于形状参数和尺度参数的显式公式，可在统计推断和机器学习应用中实现高效计算。

ABSTRACT

We derive a closed form solution for the Kullback-Leibler divergence between two Weibull distributions. These notes are meant as reference material and intended to provide a guided tour towards a result that is often mentioned but seldom made explicit in the literature.

研究动机与目标

• 提供两个威布尔分布之间KL散度的严格、显式闭式表达式，该量虽常被引用但极少完整推导。
• 解决文献中缺乏可访问的解析解的问题，特别是针对形状参数和尺度参数不相等的情况。
• 通过实现分布差异度量的高效计算，支持模型选择、统计推断和核方法等实际应用。
• 在指数分布（k=1）的特例中验证推导公式，确认其与已知结果的一致性。

提出的方法

• 通过将两个威布尔密度的对数比展开为可分离的项（包含常数和x的函数），推导KL散度。
• 应用变量替换 y = (x/l₁)^k₁，将积分转化为伽马函数形式，从而实现解析求解。
• 利用已知性质评估每个结果积分：密度的归一化（积分为1），以及利用伽马函数和欧拉-马歇罗尼常数γ计算log x的期望。
• 使用伽马函数Γ(z)计算涉及x^k₂和x^k₁的矩，特别是(x/l₂)^k₂项。
• 将所有组成部分整合为一个统一的闭式表达式，包含对数项、γ和Γ函数。
• 通过在k₁ = k₂ = 1时将其简化为已知的两个指数分布之间的KL散度，验证结果的正确性。

实验结果

研究问题

• RQ1 两个具有不同形状参数和尺度参数的一般威布尔分布之间的KL散度的精确解析形式是什么？
• RQ2 如何在无需数值积分的情况下高效计算KL散度，特别是在高维或迭代推断任务中？
• RQ3 当k₁ = k₂ = 1时，推导出的公式是否能正确简化为已知的两个指数分布之间的KL散度？
• RQ4 推导出的表达式能否用于构建对称的散度度量或机器学习中的核函数？

主要发现

• 两个参数分别为(k₁, l₁)和(k₂, l₂)的威布尔分布之间的KL散度，具有包含对数项、欧拉-马歇罗尼常数γ和伽马函数的闭式表达式。
• 当k₁ = k₂ = 1时，公式正确简化为log(l₂/l₁) + (l₁/l₂) - 1，与两个指数分布之间已知的KL散度一致。
• 在威布尔分布下log x的期望被推导为log l₁ - γ/k₁，这是最终表达式中的关键组成部分。
• (x/l₂)^k₂项的积分结果为(l₁/l₂)^k₂ × Γ(k₂/k₁ + 1)，可通过伽马函数精确求解。
• 最终表达式为非对称且非负，符合KL散度的性质，可用于比较模型拟合优度或定义相似性度量。