[论文解读] A closed-form formula for the Kullback-Leibler divergence between Cauchy distributions

Frédéric Chyzak, Frank Nielsen|arXiv (Cornell University)|May 27, 2019

Statistical Mechanics and Entropy参考文献 12被引用 12

一句话总结

本文推导出两个柯西分布之间 Kullback-Leibler (KL) 散度的闭式公式，表明其始终为有限值且对称。通过 Maple 中的 Mgfun 包进行符号计算，作者计算了一个包含六个参数的参数化定积分，得出关键结果：KL(p₁‖p₂) = log[(s₁+s₂)² + (l₁−l₂)²]/(4s₁s₂)，其中 l 和 s 分别为位置和尺度参数。

ABSTRACT

We report a closed-form expression for the Kullback-Leibler divergence between Cauchy distributions which involves the calculation of a novel definite integral. The formula shows that the Kullback-Leibler divergence between Cauchy densities is always finite and symmetric.

研究动机与目标

• 推导两个柯西概率密度函数之间 Kullback-Leibler 散度的闭式表达式。
• 证明尽管柯西分布具有重尾特性，其 KL 散度始终为有限值。
• 展示柯西族中 KL 散度的对称性，这一性质在一般位置-尺度族中并不成立。
• 为柯西族中的交叉熵和微分熵提供计算上可处理的闭式公式。

提出的方法

• 作者将 KL 散度表示为交叉熵与微分熵之差，从而将问题简化为计算两个柯西密度之间的交叉熵。
• 他们定义了一个参数化定积分 A(a,b,c;d,e,f) = ∫[−∞,∞] log(dx²+ex+f)/(ax²+bx+c) dx，该积分捕捉了交叉熵项。
• 利用 Maple 中的 Mgfun 包，他们计算出 A(a,b,c;d,e,f) 的闭式解，解中包含参数的对数和平方根项。
• 通过创造性求和（creative telescoping）和符号积分推导出解，并通过求导和极限分析验证，以确定积分常数。
• 通过变量替换将一般情况约化为标准形式，从而推导出最终的 KL 散度公式。
• 通过恢复已知特例（尺度族，即 l₁=l₂；位置族，即 s₁=s₂）验证结果，确认一致性。

实验结果

研究问题

• RQ1 是否存在两个柯西分布之间 Kullback-Leibler 散度的闭式表达式？
• RQ2 尽管柯西分布具有重尾特性，其柯西密度之间的 KL 散度是否仍保持有限？
• RQ3 柯西分布参数之间的 KL 散度是否具有对称性，而这一性质在一般位置-尺度族中并不成立？
• RQ4 是否可以使用同一框架，以闭式表达柯西分布的交叉熵和微分熵？

主要发现

• 参数为 (l₁,s₁) 和 (l₂,s₂) 的两个柯西密度之间的 KL 散度由闭式表达式给出：KL(p₁‖p₂) = log[(s₁+s₂)² + (l₁−l₂)²]/(4s₁s₂)。
• KL 散度始终为有限值，即使柯西分布具有重尾特性，解决了相对熵可能发散的潜在担忧。
• KL 散度具有对称性：KL(p₁‖p₂) = KL(p₂‖p₁)，这一性质在大多数位置-尺度族（如正态分布）中并不成立。
• 对于尺度族（l₁=l₂=l），KL 散度简化为 2 log[(s₁+s₂)/(2√(s₁s₂))]，与已知结果一致。
• 对于位置族（s₁=s₂=s），KL 散度变为 log[1 + (l₁−l₂)²/(4s²)]，与既有的公式相符。
• 位置为 l、尺度为 s 的柯西分布的微分熵为 h(p) = log(4πs)，与既有文献一致。