[论文解读] Generalised Pinsker Inequalities

Mark D. Reid, Robert C. Williamson|ArXiv.org|Jun 6, 2009

Statistical Mechanics and Entropy参考文献 24被引用 21

一句话总结

本文通过利用将 f-散度与贝叶斯风险联系起来的新颖积分表示，将经典的 Pinsker 不等式推广，推导出 f-散度与广义变分散度之间紧致且显式的下界。关键贡献在于完整解决了双重广义问题——即使用多个广义变分散度值来界定 f-散度——从而首次给出了以变分散度表示的 KL 散度的显式、紧致界，解决了 Vajda 在 40 年前提出的问题。

ABSTRACT

We generalise the classical Pinsker inequality which relates variational divergence to Kullback-Liebler divergence in two ways: we consider arbitrary f-divergences in place of KL divergence, and we assume knowledge of a sequence of values of generalised variational divergences. We then develop a best possible inequality for this doubly generalised situation. Specialising our result to the classical case provides a new and tight explicit bound relating KL to variational divergence (solving a problem posed by Vajda some 40 years ago). The solution relies on exploiting a connection between divergences and the Bayes risk of a learning problem via an integral representation.

研究动机与目标

• 解决 Vajda 在 1970 年代提出的一个长期悬而未决的开放问题：在仅已知变分散度值的前提下，寻找 Kullback-Leibler (KL) 散度相对于变分散度的显式、紧致下界。
• 以两种方式推广经典 Pinsker 不等式：将 KL 散度替换为任意 f-散度，并使用多个广义变分散度值作为约束条件。
• 在对广义变分散度部分知识的条件下，为 f-散度建立完整且最优的不等式框架。
• 通过 DeGroot 的统计信息与贝叶斯风险，建立 f-散度与统计决策理论之间的联系。

提出的方法

• 利用 f-散度与先验与后验贝叶斯风险之差的积分表示，将散度与统计决策理论联系起来。
• 引入通过权重序列 πi ∈ (0,1) 定义的广义变分散度，扩展标准变分散度。
• 基于 0-1 损失与贝叶斯风险的几何论证，推导出在广义散度假设下的紧致界。
• 通过在似然比上进行变分优化，受已知广义变分散度值的约束，推导出主要结果。
• 将一般结果特化到标准散度（如 KL、χ²、J-散度）以获得显式且紧致的界。
• 利用 f-散度与贝叶斯风险之间的联系，将问题简化为一维优化，从而实现显式计算。

实验结果

研究问题

• RQ1 在仅已知变分散度值的前提下，KL 散度相对于标准变分散度的最紧可能下界是什么？
• RQ2 如何将经典 Pinsker 不等式推广至任意 f-散度，同时结合对多个广义变分散度值的部分知识？
• RQ3 能否建立一个统一框架，以推导 f-散度与广义变分散度之间的最优界？
• RQ4 贝叶斯风险与统计决策理论在刻画紧致散度不等式中扮演什么角色？
• RQ5 所推导的界与现有隐式或渐近界（如 Fedotov 等人或 Gilardoni 的结果）相比如何？

主要发现

• 本文首次提供了以变分散度表示的 KL 散度的显式、紧致下界，解决了 Vajda 40 年前提出的问题。
• 对于 KL 散度，该界通过在 β ∈ [V−2, 2−V] 上的一维最小化获得，给出了闭式表达式，且比经典和先前的界更紧致。
• 广义变分散度（Vπi）提供了更具信息量的约束集，使得其界优于仅使用标准 V(P,Q) 的情况。
• 该方法为多种标准 f-散度（h²、J、Ψ、I、T、χ² 和 KL）提供了显式且紧致的界，所有结果均被证明为最优。
• χ² 散度的界为分段形式：当 V < 1 时为 V²，当 V ≥ 1 时为 V/(2−V)，该界比经典 V² 更紧致。
• 本结果通过提供显式、可计算的形式，推广了 Fedotov 等人和 Gilardoni 的工作，而非采用参数化或隐式解。