[论文解读] Bounds among $f$-divergences

Igal Sason, Sergio Verdú|arXiv (Cornell University)|Aug 3, 2015

Statistical Mechanics and Entropy参考文献 73被引用 7

一句话总结

本文通过函数控制和有界相对信息下的矩不等式，建立了各类 f-散度（如相对熵、卡方散度、总变差和 Rényi 散度）之间的紧致界。该研究将 Pinsker 不等式推广至 Eγ 散度，并通过相对信息谱推导出 Rényi 散度的积分表达式，从而得到新的反向 Pinsker 型不等式。

ABSTRACT

This paper develops methods to obtain bounds on an $f$-divergence based on one or several other $f$-divergences, dealing with pairs of probability measures defined on arbitrary alphabets. Functional domination is one such approach, where special emphasis is placed on finding the best possible constant upper bounding a ratio of $f$-divergences. Another approach used for the derivation of bounds among $f$-divergences relies on moment inequalities and the logarithmic-convexity property, which is studied in this paper to obtain tight bounds on the relative entropy and Bhattacharyya distance in terms of $\chi^2$ divergences. A rich variety of bounds are shown to hold under boundedness assumptions on the relative information. Special attention is on the total variation distance and its relation to the relative information and relative entropy, including reverse Pinsker inequalities, as well as on the $E_\gamma$ divergence, which generalizes the total variation distance. Pinsker's inequality is extended for this type of $f$-divergence, a result which leads to an inequality that links the relative entropy and relative information spectrum. Integral expressions of the R\'enyi divergence in terms of the relative information spectrum are derived, leading to bounds on the R\'enyi divergence in terms of either the variational distance or relative entropy.

研究动机与目标

• 开发在任意字母表上，以其他 f-散度表示某一 f-散度的通用界方法。
• 利用卡方散度和矩不等式，建立相对熵与 Bhattacharyya 距离的紧致、最优界。
• 研究总变差距离与相对熵及相对信息之间的反向 Pinsker 不等式。
• 将 Pinsker 不等式推广至 Eγ 散度，即总变差的广义形式。
• 推导 Rényi 散度相对于相对信息谱的积分表达式。

提出的方法

• 利用函数控制，推导两个 f-散度比值的最优常数上界。
• 应用矩不等式和对数凸性性质，通过卡方散度界定向熵与 Bhattacharyya 距离。
• 对相对信息施加有界性假设，推导涉及总变差与相对熵的紧致不等式。
• 引入 Eγ 散度作为总变差的推广形式，并推导其对应的 Pinsker 型不等式。
• 利用相对信息谱推导 Rényi 散度的积分表达式，从而实现以变分距离或相对熵为基准的界。
• 采用变分技术和凸分析，刻画不同 f-散度之间所推导界之紧致性。

实验结果

研究问题

• RQ1 通过函数控制，两个 f-散度比值的最优常数上界是什么？
• RQ2 如何利用矩不等式和对数凸性，以卡方散度界定向熵与 Bhattacharyya 距离？
• RQ3 在何种条件下，总变差与相对熵之间的反向 Pinsker 不等式成立？
• RQ4 Pinsker 不等式能否推广至 Eγ 散度？其对信息论界意味着什么？
• RQ5 哪些积分表达式将 Rényi 散度与相对信息谱联系起来？它们如何产生新的界？

主要发现

• 本文通过函数控制，推导出两个 f-散度比值的最优常数上界，确保在任意字母表下均保持紧致性。
• 在有界相对信息条件下，建立了相对熵与 Bhattacharyya 距离相对于卡方散度的紧致界。
• 推导出反向 Pinsker 不等式，将总变差距离与相对熵及相对信息联系起来，且在有界性条件下成立。
• 将 Pinsker 不等式推广至 Eγ 散度，即总变差的广义形式，从而提供一类新的信息论不等式。
• 推导出 Rényi 散度相对于相对信息谱的积分表达式，从而可基于变分距离或相对熵建立界。
• 所推导的界被证明是紧致的，并适用于广泛的 f-散度，包括相对熵、卡方散度和 Rényi 散度。