[论文解读] A Tight Lower Bound for the Hellinger Distance with Given Means and Variances

Tomohiro Nishiyama|arXiv (Cornell University)|Oct 26, 2020

Statistical Mechanics and Entropy参考文献 12被引用 9

一句话总结

本文在给定两个概率分布的均值和方差的前提下，建立了平方 Hellinger 距离的紧下界，证明该下界由定义在两点支撑上的二元分歧实现。该结果将卡方分布和相对熵分歧的已知性质推广至 Hellinger 距离，并提出了一个关于满足该下界性质的 f-分歧的表征的开放问题。

ABSTRACT

The binary divergences that are divergences between probability measures defined on the same 2-point set have an interesting property. For the chi-squared divergence and the relative entropy, it is known that their binary divergence attain lower bounds with given means and variances, respectively. In this note, we show that the binary divergence of the squared Hellinger distance has the same property and propose an open problem that what conditions are needed for f-divergence to satisfy this property.

研究动机与目标

• 在给定均值和方差的条件下，建立平方 Hellinger 距离的紧下界。
• 证明该下界可通过在两点支撑上定义的二元分歧实现，类似于卡方分布和相对熵的已知结果。
• 识别 f-分歧在矩约束下通过二元分布实现最小值的条件。
• 提出一个关于表征满足“下界条件”的 f-分歧的开放问题。

提出的方法

• 将平方 Hellinger 距离表示为 f-分歧，其中 f(t) = ½(√t − 1)²。
• 通过在固定一阶和二阶矩的概率测度上进行变分优化，推导出下界。
• 构造一个在 {u₁, u₂} 上具有指定概率 r 和 s 的两点分布 (P, Q)，以实现该下界。
• 用差值 a = m_P − m_Q 和 b = σ_Q² − σ_P² 表达下界，其中 v 由推导出的表达式给出。
• 应用极限论证，证明当均值相等时下确界为零，通过构造 Hellinger 距离趋于零的分布序列。
• 将二元 Hellinger 下界与先前已知的下界进行比较，通过函数 g(x) = (1+x)/(1+√x)² 建立乘法因子关系。

实验结果

研究问题

• RQ1 在固定均值和方差下，平方 Hellinger 距离是否像卡方分布和相对熵分歧一样达到紧下界？
• RQ2 在矩约束下，两个分布之间的最小 Hellinger 距离是否可通过两点集上的二元分布实现？
• RQ3 f-分歧中的凸函数 f 需满足何种条件，才能使二元分歧在固定均值和方差下实现最小值？
• RQ4 对于哪些 α 值，α-分歧满足“下界条件”？
• RQ5 Hellinger 距离的界如何与基于均值和方差差值的先前已知下界相关联？

主要发现

• 平方 Hellinger 距离的紧下界由 h²(r,s) = 1 − √(1 − a²/(a² + (σ_P + σ_Q)²)) 给出，其中 a = m_P − m_Q。
• 该下界由在两点集上以概率 r 和 s 定义的二元分布实现，其中 r 和 s 由 a、b = σ_Q² − σ_P² 和 v 确定。
• 当 m_P = m_Q 时，Hellinger 距离的下确界为零，且可通过 Hellinger 距离趋于零的分布序列逼近。
• 二元 Hellinger 下界被先前已知下界 l(m_P, σ_P, m_Q, σ_Q) 的常数倍数上下界控制，常数因子依赖于两点支撑的概率。
• 证明了 h²(r,s) 至少为 β_min × l(m_P, σ_P, m_Q, σ_Q)，其中 β_min ≥ 1，且比值依赖于两点支撑上两概率的相对大小。
• 本文提出了一个开放问题，即识别使 f-分歧满足“下界条件”的 f 的一般条件。