[论文解读] Lower bounds on Information Divergence

Peter Harremoës, Christophe Vignat|arXiv (Cornell University)|Feb 12, 2011

Statistical Mechanics and Entropy参考文献 10被引用 4

一句话总结

本文利用正交多项式与矩方法，建立了从分布到指数族（如正态、泊松、指数、伽马分布）的信息散度（Kullback-Leibler散度）的紧下界。关键贡献是提出一种通用方法，通过正交多项式的矩来推导散度下界，并针对特定分布给出了显式下界，包括基于超额峰度的正态分布散度的二次下界。

ABSTRACT

In this paper we establish lower bounds on information divergence from a distribution to certain important classes of distributions as Gaussian, exponential, Gamma, Poisson, geometric, and binomial. These lower bounds are tight and for several convergence theorems where a rate of convergence can be computed, this rate is determined by the lower bounds proved in this paper. General techniques for getting lower bounds in terms of moments are developed.

研究动机与目标

• 推导从任意分布到重要指数族（如正态、泊松、指数、伽马、二项、几何分布）的信息散度的紧下界。
• 开发利用正交多项式与三角函数的矩来界定信息散度的一般技术。
• 通过建立这些下界，为信息论极限定理中的收敛速率提供定量刻画。
• 研究基于高阶矩的猜想通用下界的有效性，并通过反例检验其适用范围。

提出的方法

• 使用自然参数参数化的指数族，其Radon-Nikodym导数形式为 exp(β·x)/Z(β)，其中 Z(β) 为矩生成函数。
• 对散度函数 D(Q^μ || Q^ν) 应用泰勒展开，推导出涉及方差函数 V(η) 的二阶近似，其中 η 介于 μ 与 ν 之间。
• 利用与每个指数族相关的正交多项式（如埃尔米特、拉盖尔、契劳尔）来表达矩约束并推导散度下界。
• 将方差函数 V(μ) 作为指数族的唯一表征，并证明：若 V(μ) 单调递增，则当 μ ≤ ν 时，有 D(Q^μ || Q^ν) ≥ (μ−ν)²/(2V(ν))。
• 通过将散度表达为归一化正交多项式期望的形式，推导具体下界，例如 E[~L_k^α(X)] ≤ 0 蕴含 D(X || Γ_α+1,1) ≥ (1/2)(E[~L_k^α(X)])²。
• 构造反例（k=3，α=−1/2），表明即使期望非正，一般不等式 D(X || Γ_α+1,1) ≥ (1/2)(E[~L_k^α(X)])² 也不恒成立。

实验结果

研究问题

• RQ1 对于任意分布到标准指数族（如正态、泊松、伽马分布）的信息散度，其紧下界是什么？
• RQ2 能否利用正交多项式导出的矩约束，统一界定信息散度与目标分布之间的关系？
• RQ3 是否存在基于高阶矩（如埃尔米特或拉盖尔多项式导出的矩）的通用散度下界？
• RQ4 对于给定的正交多项式 φ，不等式 D(X || P) ≥ (1/2)(E[φ(X)])² 在何种条件下成立，又在何种条件下不成立？
• RQ5 此类下界能否刻画信息论极限定理中的收敛速率？

主要发现

• 对于均值 μ ≤ 0、方差为 1 的随机变量 X，有 D(X || Φ) ≥ (1/2)μ²，其中 Φ 为标准正态分布。
• 对于任意方差 ≤ 1 且均值为 1 的 X，有 D(X || Φ) ≥ (1/2)(Var(X)−1)²，提供了一个以方差偏离 1 为变量的二次下界。
• 对于速率参数为 1 的指数分布，若 E[X] = 1 且 Var(X) ≤ 1，则 D(X || Exp(1)) ≥ (1/8)(Var(X)−1)²。
• 对于 χ²₁ 分布（形状参数 1/2，尺度参数 2 的伽马分布），若 E[X] = 1 且 Var(X) ≤ 2，则 D(X || χ²₁) ≥ (1/48)(Var(X)−2)²。
• 对于任意单位方差且超额峰度 κ ≤ 0（即轻峰态）的 X，有 D(X || Φ) ≥ (1/48)κ²，该结果与先前研究一致。
• 针对伽马分布 Γ(1/2,1)，当 k=3 且 α=−1/2 时，构造反例表明：当 E[~L₃^α(X)] = −3 时，实际散度为 3.3195 < 4.5，故不等式 D(X || Γ_α+1,1) ≥ (1/2)(E[~L₃^α(X)])² 不成立。