[论文解读] On the Kullback-Leibler divergence between discrete normal distributions

Frank Nielsen|arXiv (Cornell University)|Jan 1, 2021

Statistical Mechanics and Entropy参考文献 45被引用 1

一句话总结

本文提出了用于整数格点上离散正态分布之间Kullback-Leibler（KL）散度的闭式公式及高效近似技术，利用黎曼θ函数与射影γ-散度。该方法实现了高维格点高斯模型中统计散度的精确且可扩展的计算，关键结果表明，当γ ≈ 1时，通过在θ椭球上进行有限格点求和，γ-散度能对KL散度提供紧密近似。

ABSTRACT

Discrete normal distributions are defined as the distributions with prescribed means and covariance matrices which maximize entropy on the integer lattice support. The set of discrete normal distributions form an exponential family with cumulant function related to the Riemann theta function. In this paper, we present several formula for common statistical divergences between discrete normal distributions including the Kullback-Leibler divergence. In particular, we describe an efficient approximation technique for calculating the Kullback-Leibler divergence between discrete normal distributions via the Rényi $α$-divergences or the projective $γ$-divergences.

研究动机与目标

• 推导整数格点上离散正态分布之间统计散度（特别是Kullback-Leibler散度）的闭式表达式。
• 建立格点高斯分布的矩生成函数与Siegel上空间上黎曼θ函数之间的联系。
• 利用射影γ-散度与θ椭球上的有限求和，开发KL散度的数值高效近似方法。
• 在精确归一化不可行的高维格点高斯模型中，实现可扩展的统计推断。

提出的方法

• 将离散正态分布表述为在整数格点上的 exponential family，其自然参数通过累积量函数与黎曼θ函数θΛ(ξ)关联。
• 利用θ函数θΛ(ξ)推导出KL散度、Rényi α-散度、Sharma-Mittal散度与γ-散度的精确闭式表达式。
• 提出一种KL散度的高效近似方法，使用γ接近1时的γ-散度，其中将无穷级数替换为在θ椭球Eξ与Eξ′内的有限格点求和。
• 将θ椭球用作计算上可处理的区域，以近似配分函数并归一化未归一化的密度。
• 利用γ-散度的射影不变性，消除归一化常数，从而可直接从未归一化密度进行计算。
• 通过数值示例验证该方法，并通过有限格点采样在高维中展示其可扩展性。

实验结果

研究问题

• RQ1 能否使用特殊函数，以闭式表达整数格点上两个离散正态分布之间的Kullback-Leibler散度？
• RQ2 在格点高斯模型中，如何处理不可计算的归一化常数以实现散度计算？
• RQ3 当γ → 1时，γ-散度在格点高斯分布中对KL散度的近似程度如何？
• RQ4 在高维设置中，将求和限制在θ椭球上会对计算产生何种影响？
• RQ5 像γ-散度和柯西-施瓦茨散度这样的射影散度，能否为格点高斯分布给出闭式表达？

主要发现

• 两个格点高斯分布之间的Kullback-Leibler散度可表示为黎曼θ函数的闭式表达式：DKL[pξ : pξ′] = log(θΛ(ξ′)/θΛ(ξ)) − 2πμ⊤(ξ′₁ − ξ₁) + π tr((ξ′₂ − ξ₂)(Σ + μμ⊤))。
• γ-散度提供精确的闭式表达式：Dγ[pξ : pξ′] = 1/(γ(γ−1)) log( θΛ(γξ) θΛ(γξ′)γ−1 / θΛ(ξ + (γ−1)ξ′)γ )。
• 当γ ≈ 1（例如γ = 1 + 10⁻⁵）时，γ-散度渐近收敛于KL散度，从而实现对KL散度的精确近似。
• 通过在θ椭球Rξ,ξ′上进行有限求和来近似KL散度，可在高维中实现可扩展且精确的估计。
• 格点高斯分布之间的柯西-施瓦茨散度为DCS[pξ : pξ′] = log(√(θΛ(2ξ)θΛ(2ξ′)) / θΛ(ξ+ξ′))。
• 数值实验验证了该方法的准确性和高效性，尤其在使用θ椭球限制求和区域时表现更优。