[论文解读] Bounds on Non-Symmetric Divergence Measures in Terms of Symmetric Divergence Measures

Inder J. Taneja|ArXiv.org|Jun 13, 2005

Mathematical Inequalities and Applications参考文献 16被引用 8

一句话总结

本文通过分析Csiszár f-散度中生成函数的二阶导数之比，利用概率分布之间的最小与最大似然比，推导出非对称散度度量（如相对算术-几何散度、相对J-散度、相对Jensen-Shannon散度）与对称散度度量（如三角 discrimination、J-散度、Jensen-Shannon散度）之间的紧致上下界。通过统一框架，实现了对非对称与对称散度的系统比较，提供了精确的边界表达式。

ABSTRACT

There are many information and divergence measures exist in the literature on information theory and statistics. The most famous among them are Kullback-Leibler (1951) relative information and Jeffreys (1951) J-divergence. Sibson (1969) Jensen-Shannon divergence has also found its applications in the literature. The author (1995) studied a new divergence measures based on arithmetic and geometric means. The measures like harmonic mean divergence and triangular discrimination are also known in the literature. Recently, Dragomir et al. (2001) also studies a new measure similar to J-divergence, we call here the relative J-divergence. Another measures arising due to Jensen-Shannon divergence is also studied by Lin (1991). Here we call it relative Jensen-Shannon divergence. Relative arithmetic-geometric divergence (ref. Taneja, 2004) is also studied here. All these measures can be written as particular cases of Csiszar's f-divergence. By putting some conditions on the probability distribution, the aim here is to obtain bounds among the measures.

研究动机与目标

• 通过使用对称散度度量，推导非对称散度度量的紧致边界。
• 在Csiszár f-散度框架下，统一各类信息论散度。
• 量化非对称散度（如相对算术-几何散度）与对称散度（如J-散度、三角 discrimination）之间的关系。
• 在概率分布之间似然比有界条件下，建立成立的不等式。
• 利用函数比值与区间 [r, R] 上的极值，系统比较各类散度。

提出的方法

• 本文采用Csiszár f-散度框架，将所有散度表示为对似然比应用凸函数后的积分形式。
• 定义两个散度A与B的生成函数二阶导数之比函数 g(x) = f''_A(x)/f''_B(x)。
• 通过在区间 [r, R] 上计算该比值函数的下确界与上确界，推导出边界，其中 r 与 R 分别为分布 P 与 Q 之间最小与最大的似然比。
• 该方法依赖于比值函数的单调性分析，证明其严格递减，从而可获得精确的极值边界。
• 通过微积分与不等式推导理论结果，给出以 r 与 R 表示的显式边界表达式。
• 该框架被系统应用于多组散度对，包括 G(P||Q) 与 Δ(P||Q)、J(P||Q)、I(P||Q)、T(P||Q)。

实验结果

研究问题

• RQ1 如何基于似然比区间，利用对称散度度量来界定非对称散度？
• RQ2 相对算术-几何散度相对于三角 discrimination 的最紧致上下界是什么？
• RQ3 相对算术-几何散度相对于 J-散度与 Jensen-Shannon 散度的边界如何比较？
• RQ4 二阶导数之比的何种函数性质决定了散度比较中的极值边界？
• RQ5 能否基于似然比约束，建立统一的分析框架以比较多种 f-散度？

主要发现

• 相对算术-几何散度 G(P||Q) 被三角 discrimination Δ(P||Q) 所界定：(R+1)²/(16R²) Δ(P||Q) ≤ G(P||Q) ≤ (r+1)²/(16r²) Δ(P||Q)，其中 r 与 R 分别为最小与最大似然比。
• G(P||Q) 被 J-散度所界定：1/(2(R+1)²) J(P||Q) ≤ G(P||Q) ≤ 1/(2(r+1)²) J(P||Q)。
• G(P||Q) 被 Jensen-Shannon 散度所界定：(1/R) I(P||Q) ≤ G(P||Q) ≤ (1/r) I(P||Q)。
• G(P||Q) 被算术-几何散度 T(P||Q) 所界定：2/(1+R²) T(P||Q) ≤ G(P||Q) ≤ 2/(1+r²) T(P||Q)。
• 所有边界均为紧致边界，且在似然比 x = p_i/q_i 取值于区间 [r, R] 的端点 r 或 R 时达到。
• 所有边界对应的比值函数 g(x) 在 (0, ∞) 上严格递减，确保极值在 x = R 与 x = r 处取得。