[论文解读] On a Difference of Jensen Inequality and its Applications to Mean Divergence Measures

Inder J. Taneja|ArXiv.org|Jan 19, 2005

Mathematical Inequalities and Applications参考文献 15被引用 17

一句话总结

本文提出了一种凸函数的Jensen不等式差分的新形式，通过导数和区间约束建立紧致界。该框架被应用于推导经典均值（算术、几何、调和）的新不等式，并基于Csiszár的f-散度定义了新的散度度量，关键结果展示了这些度量之间的层次关系，例如 $ \frac{1}{16}\Delta(P||Q) \leq \frac{1}{4}I(P||Q) \leq M_{N_2N_1}(P||Q) \leq \frac{1}{3}M_{N_2G}(P||Q) \leq \frac{1}{4}h(P||Q) \leq M_{AN_2}(P||Q) \leq \frac{1}{32}J(P||Q) \leq \frac{1}{4}T(P||Q) $。该研究为通过基于均值的散度比较概率分布提供了一个统一的分析工具。

ABSTRACT

In this paper we have considered a difference of Jensen's inequality for convex functions and proved some of its properties. In particular, we have obtained results for Csiszár \cite{csi1} $f-$divergence. A result is established that allow us to compare two measures under certain conditions. By the application of this result we have obtained a new inequality for the well known means such as arithmetic, geometric and harmonic. Some divergence measures based on these means are also defined.

研究动机与目标

• 形式化并分析凸函数的Jensen不等式差分，定义为 $ F_f(\lambda,X) = \sum \lambda_i f(x_i) - f(\sum \lambda_i x_i) $。
• 利用函数的一阶导数和变量的区间约束，推导该Jensen差分的紧致上界。
• 将该界应用于Csiszár的f-散度框架，实现在凸性条件下的概率分布比较。
• 基于经典均值（算术、几何、调和）定义并分析新的散度度量及其相互关系。
• 建立散度度量的层次结构，展示它们之间的定量不等式关系，包括 $ \frac{1}{16}\Delta \leq \frac{1}{4}I \leq M_{N_2N_1} \leq \cdots \leq \frac{1}{4}T $。

提出的方法

• 将Jensen差分 $ F_f(\lambda,X) $ 定义为函数值加权平均与加权平均函数值之间的差距。
• 利用定理1，通过基于导数的表达式 $ L_f(\lambda,X) $ 和最大区间依赖界 $ Z_f(\eta_1,\eta_2) $ 对 $ F_f(\lambda,X) $ 进行界定。
• 将该界应用于特定的凸函数 $ f_s(x) $，包括对数型和幂函数形式，以推导基于均值的散度。
• 构建如 $ I_s(P||Q) $、$ I_0(P||Q) $、$ I(P||Q) $ 和 $ T(P||Q) $ 等散度度量，将其与算术、几何和调和均值联系起来。
• 通过生成函数的二阶导数之比 $ g_{f_1/f_2}(x) $ 比较散度度量，证明其单调性以确定上确界，并推导比例不等式。
• 利用导数比的上确界，建立散度之间紧致的常数因子不等式，如 $ M_{N_2N_1} \leq \frac{1}{3}M_{N_2G} $。

实验结果

研究问题

• RQ1 如何利用一阶导数和变量的区间约束来界定Jensen不等式差分？
• RQ2 对于定义域有界的凸函数，Jensen差分的最紧致上界是什么？
• RQ3 Jensen差分框架如何用于推导基于经典均值的新散度度量？
• RQ4 不同基于均值的散度度量（如 $ M_{N_2N_1} $、$ M_{N_2G} $、$ M_{AN_2} $ 和 $ h(P||Q) $）之间存在何种层次关系？
• RQ5 能否利用生成函数二阶导数的比值推导出散度之间的通用常数界？

主要发现

• Jensen差分 $ F_f(\lambda,X) $ 满足 $ 0 \leq F_f(\lambda,X) \leq L_f(\lambda,X) \leq Z_f(\eta_1,\eta_2) = \frac{1}{4}(\eta_2 - \eta_1)(f'(\eta_2) - f'(\eta_1)) $，提供了精确的区间依赖界。
• 对于函数 $ f_s(x) = \frac{1 - x^s}{s} $，Jensen差分对应于算术平均与几何平均的比值，得到 $ \frac{A(\lambda,X)}{G(\lambda,X)} \leq \exp\left[\frac{(\eta_2 - \eta_1)^2}{4\eta_1\eta_2}\right] $。
• 基于 $ f_s $ 的散度 $ \mathcal{W}_s(P||Q) $ 满足 $ \mathcal{W}_s(P||Q) \leq \frac{1}{4}\mathcal{V}_s(P||Q) $，当 $ s=0 $ 时等号成立，对应Burbea-Rao散度。
• 散度 $ M_{N_2N_1}(P||Q) $ 满足 $ \frac{1}{16}\Delta(P||Q) \leq M_{N_2N_1}(P||Q) \leq \frac{1}{3}M_{N_2G}(P||Q) $，其中常数 $ \frac{1}{3} $ 为最优。
• 散度 $ M_{AN_2}(P||Q) $ 满足 $ \frac{1}{4}h(P||Q) \leq M_{AN_2}(P||Q) $，常数 $ \frac{1}{4} $ 为紧致。
• 建立了完整的散度层次结构：$ \frac{1}{16}\Delta \leq \frac{1}{4}I \leq M_{N_2N_1} \leq \frac{1}{3}M_{N_2G} \leq \frac{1}{4}h \leq M_{AN_2} \leq \frac{1}{32}J \leq \frac{1}{4}T $，所有常数均为最优。