[论文解读] Entropy-power inequality for weighted entropy

Yuri Suhov, Salimeh Yasaei Sekeh+1 more|arXiv (Cornell University)|Feb 7, 2015

Wireless Communication Security Techniques参考文献 6被引用 8

一句话总结

本文提出了一种加权熵功率不等式（WEPI），通过在微分熵中引入权函数 $\phi$，将香农的熵功率不等式进行推广。该文通过加权Lieb型分解不等式和独立随机变量的变换，建立了WEPI成立的充分条件，将经典结果扩展至加权熵，并在高斯噪声和特定概率分布中展示其应用。

ABSTRACT

We analyse an analog of the entropy-power inequality for the weighted entropy.

研究动机与目标

• 通过可测权函数 $\phi(x) \geq 0$，将经典的熵功率不等式（EPI）推广至加权微分熵。
• 建立独立随机变量下加权熵功率不等式（WEPI）成立的充分条件。
• 探讨WEPI与加权Lieb分解不等式（WLSI）之间的联系，特别是在加性高斯噪声背景下的应用。
• 通过特定概率分布类别的例子与反例，验证理论边界的正确性。
• 将框架扩展至非高斯及扰动分布，证明在权函数发生小偏差时的稳定性。

提出的方法

• 将加权微分熵（WDE）定义为 $ h^{\rm w}_{\phi}(Z) = -\mathbb{E}[\phi(Z)\ln f_Z(Z)] $，推广香农的微分熵。
• 提出加权熵功率不等式（WEPI）的形式：$ \exp\left[\frac{2h^{\rm w}_{\phi}(X_1)}{\mathbb{E}\phi(X_1)}\right] + \exp\left[\frac{2h^{\rm w}_{\phi}(X_2)}{\mathbb{E}\phi(X_2)}\right] \leq \exp\left[\frac{2h^{\rm w}_{\phi}(X)}{\mathbb{E}\phi(X)}\right] $，其中 $ X = X_1 + X_2 $。
• 引入角度 $ \alpha = \tan^{-1}(\exp[\cdots]) $ 的变换，定义缩放变量 $ Y_1 = X_1 / \cos\alpha $，$ Y_2 = X_2 / \sin\alpha $，以解耦 $ X_1 $ 和 $ X_2 $ 的贡献。
• 将加权Lieb分解不等式（WLSI）作为关键条件建立：$ (\cos\alpha)^2 h^{\rm w}_{\phi_C}(Y_1) + (\sin\alpha)^2 h^{\rm w}_{\phi_S}(Y_2) \leq h^{\rm w}_{\phi}(X) $，其中 $ \phi_C(x) = \phi(x\cos\alpha) $，$ \phi_S(x) = \phi(x\sin\alpha) $。
• 利用Stein公式与摄动分析，证明在 $ |\phi'(x)|, |\phi''(x)| \leq \epsilon \phi(x) $ 假设下，不等式在权函数小偏差下的稳定性。
• 证明该不等式对高斯混合分布和扰动权函数成立，且在 $ \epsilon \to 0 $ 时收敛至标准EPI。

实验结果

研究问题

• RQ1 在何种条件下，对于具有通用权函数 $ \phi $ 的独立随机变量，加权熵功率不等式（WEPI）成立？
• RQ2 加权Lieb分解不等式（WLSI）如何作为WEPI有效性的充分条件？
• RQ3 WEPI能否推广至非高斯分布？其在权函数小扰动下的稳定性特性如何？
• RQ4 当 $ \phi \equiv 1 $ 时，加权熵功率不等式与经典熵功率不等式之间存在何种关系？
• RQ5 期望值 $ \mathbb{E}[\phi(X)] $、$ \mathbb{E}[\phi(X_1)] $ 和 $ \mathbb{E}[\phi(X_2)] $ 如何影响WEPI的有效性？

主要发现

• 加权熵功率不等式（WEPI）在期望值顺序条件（式1.7）与加权Lieb分解不等式（WLSI）（式1.8）共同成立时成立，该条件确保了加权熵空间中类似凸性的行为。
• 对于均值为零、方差为 $ \sigma_1^2, \sigma_2^2 $ 的高斯随机变量，当权函数 $ \phi $ 接近常数（即 $ |\phi(x) - \bar{\phi}| < \epsilon $）时，WLSI成立，其中 $ \epsilon_0 > 0 $ 依赖于 $ \mu_0, \mu_1, \sigma_0^2, \sigma_1^2 $。
• 当 $ |\phi'(x)|, |\phi''(x)| \leq \epsilon \phi(x) $ 时，不等式在小 $ \epsilon $ 下保持稳定，且不等式间隙存在正的下界 $ \delta_0 > 0 $。
• 证明利用了高斯变量的Stein公式与 $ \log y $ 的严格凹性，表明WLSI的间隙随 $ \epsilon $ 增大而增加，从而确保鲁棒性。
• 当 $ \phi \equiv 1 $ 时，经典熵功率不等式作为特例被恢复，此时WDE退化为标准微分熵，WEPI退化为原始EPI。
• 提供了特定分布的例子与反例，证实若未满足式（1.7）中所述的期望值顺序关系，该不等式并不普遍成立，尤其当 $ \mathbb{E}[\phi(X_i)] $ 与 $ \mathbb{E}[\phi(X)] $ 违背该顺序时。