[论文解读] A short note on an inequality between KL and TV

Clément L. Canonne|arXiv (Cornell University)|Feb 15, 2022

Mathematical Inequalities and Applications被引用 7

一句话总结

本文提出并证明了一个更紧致、非平凡的KL散度与总变差（TV）距离之间的新界——称为BH界，其形式为 dTV(p, q) ≤ √(1 − e^−KL(p∥q))。与Pinsker不等式不同，该界在KL散度较大时依然有效，且在KL值较小时也从不弱于Pinsker不等式，因此在信息论与统计学中提供了一种更稳健的替代方案。

ABSTRACT

The goal of this short note is to discuss the relation between Kullback--Leibler divergence and total variation distance, starting with the celebrated Pinsker's inequality relating the two, before switching to a simple, yet (arguably) more useful inequality, apparently not as well known, due to Bretagnolle and Huber. We also discuss applications of this bound for minimax testing lower bounds.

研究动机与目标

• 提出一种新的、更紧致的KL散度与总变差距离之间的不等式，避免在KL值较大时出现平凡化。
• 证明BH界在KL值较小时从不弱于Pinsker不等式，且在KL(p∥q) > 2时依然有效。
• 通过Jensen不等式与Radon–Nikodym导数的性质，提供BH界简洁明了的推导过程。
• 在高维或大KL值情形下，推动BH界在统计推断与假设检验中的应用。
• 探讨BH界与Donsker–Varadhan公式（Thomas的最爱引理）之间的联系，并提出一个开放问题：能否从该原理推导出BH界？

提出的方法

• 通过在分布p下定义随机变量 U = q(X)/p(X)，V = (U−1)+，W = (1−U)+，推导出BH界。
• 对恒等式 −KL(p∥q) = E_p[log U] = E_p[log(1+V) + log(1−W)] 应用Jensen不等式，得到 −KL(p∥q) ≤ log(1 + E_p[V]) + log(1 − E_p[W])。
• 利用 dTV(p,q) = E_p[V] = E_p[W]，不等式转化为 −KL(p∥q) ≤ log(1 + dTV) + log(1 − dTV) = log(1 − dTV²)。
• 对两边取指数并整理，得到 dTV(p,q) ≤ √(1 − e^−KL(p∥q))。
• 通过直接构造 g(x) = min(1, p(x)/q(x)) 验证该界，证明 e^−KL(p∥q) ≤ 1 − dTV(p,q)²，从而推出BH界。
• 通过对比证明，BH界在KL(p∥q) > 2时仍保持非平凡性，而Pinsker不等式则失效，从而展示其优越性。

实验结果

研究问题

• RQ1 能否推导出一个在KL值较大时依然有效的更紧致、非平凡的KL散度与总变差距离之间的不等式？
• RQ2 BH界在所有KL散度范围内是否严格优于Pinsker不等式，无论在紧致性还是适用性方面？
• RQ3 BH界能否从Donsker–Varadhan公式（Thomas的最爱引理）推导得出？
• RQ4 BH界与已知的f-散度不等式（如Vajda不等式）相比，在定量上表现如何？
• RQ5 函数 g(x) = min(1, p(x)/q(x)) 在通过TFL推导BH界的过程中起什么作用？

主要发现

• BH界表明 dTV(p,q) ≤ √(1 − e^−KL(p∥q))，该界永不平凡，即使在KL(p∥q) > 2时依然有效。
• 当KL(p∥q)较小时，BH界从不弱于Pinsker不等式，二者仅相差一个√2因子。
• 对于所有KL(p∥q) > 0，BH界均比Pinsker不等式更紧致，且随着KL值增大，差距持续扩大。
• 该界通过在 U = q(X)/p(X)，V = (U−1)+，W = (1−U)+ 的恒等式上应用Jensen不等式推导得出。
• 通过选择 g(x) = min(1, p(x)/q(x))，BH界可从Donsker–Varadhan公式推导得出，从而得到 e^−KL(p∥q) ≤ 1 − dTV(p,q)²。
• BH界表明：若 KL(p∥q) < ∞，则 dTV(p,q) < 1，而这一结论无法通过Pinsker不等式证明。