[论文解读] Mixed $f$-divergence for multiple pairs of measures

Elisabeth M. Werner, Deping Ye|arXiv (Cornell University)|Jun 27, 2016

Mathematical Inequalities and Applications参考文献 14被引用 4

一句话总结

本文引入了混合 $f$-散度作为经典 $f$-散度在多对概率测度上的推广，建立了诸如排列不变性和对称性等关键性质。证明了混合 $f$-散度的 Alexandrov-Fenchel 型不等式与等周不等式，将凸几何中的基本不等式拓展至信息论与统计散度分析领域。

ABSTRACT

In this paper, the concept of the classical $f$-divergence for a pair of measures is extended to the mixed $f$-divergence for multiple pairs of measures. The mixed $f$-divergence provides a way to measure the difference between multiple pairs of (probability) measures. Properties for the mixed $f$-divergence are established, such as permutation invariance and symmetry in distributions. An Alexandrov-Fenchel type inequality and an isoperimetric inequality for the mixed $f$-divergence are proved.

研究动机与目标

• 将仅针对单对测度定义的经典 $f$-散度推广至适用于多对概率测度的多变量框架。
• 为新提出的混合 $f$-散度建立基础性质，如排列不变性与分布对称性。
• 推导并证明混合 $f$-散度的 Alexandrov-Fenchel 型不等式与等周不等式，建立信息论与凸几何之间的联系。
• 研究第 $i$ 个混合 $f$-散度及其相关不等式，尤其关注生成函数的凸性与凹性约束下的情形。
• 提供精确的不等式及其等式成立条件，刻画在何种函数与测度性质下散度退化为常数。

提出的方法

• 将混合 $f$-散度定义为 $n$ 对概率测度 $(P_i, Q_i)$ 的泛函，基于相对于共同测度 $\mu$ 的密度函数 $p_i, q_i$。
• 利用 $*$-伴随变换 $f^*(t) = t f(1/t)$ 保持凸性/凹性，并确保散度表达式的对称性。
• 通过证明混合 $f$-散度在测度对重排下保持不变，建立排列不变性。
• 通过将广义 H"older 型不等式应用于 $f$-散度项的乘积，证明 Alexandrov-Fenchel 型不等式。
• 通过分析生成函数 $f$ 在凸性/凹性约束下的极值情形，推导等周型不等式。
• 利用 Jensen 不等式与被积函数的成比例条件，刻画所推导不等式中等式成立的情形。

实验结果

研究问题

• RQ1 如何以对称且不变的方式将经典 $f$-散度推广至多对概率测度之间的差异分析？
• RQ2 所提出的混合 $f$-散度的基本结构性质（如排列不变性与对称性）是什么？
• RQ3 能否为混合 $f$-散度建立类似凸几何中那样的 Alexandrov-Fenchel 型不等式？
• RQ4 在何种条件下混合 $f$-散度达到其极值，这又对底层测度意味着什么？
• RQ5 生成函数 $f$ 的凸性与凹性如何影响混合 $f$-散度的行为及其上下界？

主要发现

• 混合 $f$-散度在测度对的排列下保持不变，且在测度分布上具有对称性。
• 混合 $f$-散度满足 Alexandrov-Fenchel 型不等式，将凸几何中的经典不等式推广至信息论中的散度。
• 建立了等周型不等式，表明混合 $f$-散度的下界（或上界）由 $f(1)$ 的乘积决定，具体取决于 $f$ 的凸性或凹性。
• 当 $f$ 严格凸或严格凹时，等周不等式等号成立当且仅当几乎所有 $\mu$ 下有 $p_i = q_i$，表明测度对之间完全相似。
• 当 $f$ 为线性函数时，等号成立当且仅当几乎所有 $\mu$ 下有 $a p_i + b q_i = a + b$，刻画了线性情形。
• 第 $i$ 个混合 $f$-散度满足一个涉及 $f(1)$ 幂次的广义不等式，其等式条件由函数与测度的对齐性决定。