[论文解读] A Note on a Characterization of Rényi Measures and its Relation to Composite Hypothesis Testing

Ofer Shayevitz|arXiv (Cornell University)|Dec 20, 2010

Distributed Sensor Networks and Detection Algorithms参考文献 11被引用 13

一句话总结

本文通过其香农对应物，对Rényi信息度量提供了变分表征，从而实现了其性质的统一推导。该框架被应用于双传感器复合假设检验问题，表明阶数为 $\alpha = \frac{1}{1+\lambda}$ 的Rényi散度表征了最优最坏情况漏检指数，为Rényi散度在鲁棒检测场景中的新操作解释提供了支持。

ABSTRACT

The Rényi information measures are characterized in terms of their Shannon counterparts, and properties of the former are recovered from first principle via the associated properties of the latter. Motivated by this characterization, a two-sensor composite hypothesis testing problem is presented, and the optimal worst case miss-detection exponent is obtained in terms of a Rényi divergence.

研究动机与目标

• 通过其香农对应物，建立Rényi信息度量的变分表征。
• 通过其变分形式推导Rényi度量的性质，从基本原理出发简化证明。
• 激发并分析在模型不确定性下的双传感器复合假设检验问题。
• 证明阶数为 $\alpha = \frac{1}{1+\lambda}$ 的Rényi散度表征了最优最坏情况漏检指数。
• 在未知噪声分布的鲁棒检测背景下，为Rényi散度提供新的操作解释。

提出的方法

• 通过在分布上进行变分最小化来表征Rényi散度，将其与香农散度联系起来。
• 将Rényi熵和互信息表示为香农散度的下确界，从而实现其性质的公理化推导。
• 引入一个双传感器复合假设检验模型，其中零假设和备择假设均为分布族。
• 通过拉格朗日松弛技术推导最优最坏情况漏检指数，导出涉及Rényi散度的最小化问题。
• 引入广义Rényi散度阶数 $\underline{\alpha} = (\alpha, \lambda\alpha)$，以统一指数表达式。
• 通过证明当 $\alpha \to 0^+$ 时指数收敛至最优值，证明边界的渐近紧致性。

实验结果

研究问题

• RQ1 如何通过变分原理，系统地从其香农对应物推导Rényi信息度量？
• RQ2 Rényi散度在具有模型不确定性的复合假设检验中具有何种操作意义？
• RQ3 在双传感器设置下，最优最坏情况漏检指数能否用Rényi散度表示？
• RQ4 广义Rényi散度阶数 $\underline{\alpha}$ 与未知噪声存在下的漏检指数有何关系？
• RQ5 当参数 $\alpha$ 趋近于零时，所推导的指数边界具有何种极限行为？

主要发现

• 最优最坏情况漏检指数为 $E_{\text{MD}}^* = (1+\lambda)^{-1} \lambda D_{\frac{1}{1+\lambda}}(\mathbf{P}_1 \| \mathbf{P}_2)$，其中 $D_\alpha$ 为阶数 $\alpha = \frac{1}{1+\lambda}$ 的Rényi散度。
• 当 $\mathbf{Q} = \mathscr{P}(\mathcal{X})$ 时，该指数与噪声族 $\mathbf{Q}$ 无关，且Rényi散度提供了紧的下界。
• 广义Rényi散度 $D_{\underline{\alpha}}(\mathbf{P}_1, \mathbf{P}_2, \mathbf{Q})$ 定义为在各自族中分布的 $D_{\underline{\alpha}}(P_1, P_2, Q)$ 的下确界。
• 指数边界 $E_{\text{MD}}^*(\alpha) = (1+\lambda)^{-1} \alpha^{-1} D_{(\alpha, \lambda\alpha)}(\mathbf{P}_1, \mathbf{P}_2, \mathbf{Q})$ 关于 $\alpha$ 单调非增。
• 当 $\alpha \to 0^+$ 时，边界 $E_{\text{MD}}^*(\alpha)$ 收敛至真实最优指数 $E_{\text{MD}}^*$，在极限下建立紧致性。
• 该结果为Rényi散度在最坏噪声下鲁棒双传感器复合假设检验中的基本极限提供了新的操作解释。