[论文解读] Equivocations, Exponents and Second-Order Coding Rates under Various Rényi Information Measures

Masahito Hayashi, Vincent Y. F. Tan|arXiv (Cornell University)|Apr 10, 2015

Wireless Communication Security Techniques参考文献 53被引用 5

一句话总结

本文利用Rényi信息度量分析了等效性、误差指数和第二阶编码速率的渐近行为——广义了基于经典Shannon的保密度量。在各种Rényi散度下建立了安全度量的紧致界，并表明当使用阶数 $ s > 0 $ 的Rényi度量时，密钥生成速率和指数衰减率与基于Shannon的结果显著不同，尤其在极小熵和碰撞熵情形下。

ABSTRACT

We evaluate the asymptotics of equivocations, their exponents as well as their second-order coding rates under various Rényi information measures. Specifically, we consider the effect of applying a hash function on a source and we quantify the level of non-uniformity and dependence of the compressed source from another correlated source when the number of copies of the sources is large. Unlike previous works that use Shannon information measures to quantify randomness, information or uniformity, we define our security measures in terms of a more general class of information measures--the Rényi information measures and their Gallager-type counterparts. A special case of these Rényi information measure is the class of Shannon information measures. We prove tight asymptotic results for the security measures and their exponential rates of decay. We also prove bounds on the second-order asymptotics and show that these bounds match when the magnitudes of the second-order coding rates are large. We do so by establishing new classes non-asymptotic bounds on the equivocation and evaluating these bounds using various probabilistic limit theorems asymptotically.

研究动机与目标

• 通过采用Rényi信息度量及其Gallager型对应度量，将信息论安全度量从Shannon熵推广至更广范围。
• 量化在Rényi散度 $ D_{1+s} $ 下等效性的渐近行为，特别关注与相关窃听者源的均匀性和统计独立性。
• 在固定压缩速率下，推导各种Rényi散度下安全度量的指数衰减率（误差指数）。
• 研究安全度量的第二阶渐近行为，并建立在第二阶编码速率量级较大时仍能匹配的紧致界。
• 证明最优密钥生成速率和安全性能对Rényi阶数 $ s $ 的选择极为敏感，而不仅依赖于Shannon度量。

提出的方法

• 使用Rényi散度 $ D_{1+s}(P_{f(A^n),E^n} \| P_{\text{mix},f(\mathcal{A}^n)} \times P_{E^n}) $ 作为安全度量，以量化非均匀性和依赖性。
• 应用基于Rényi散度推导出的非渐近界，并利用概率极限定理（如大数定律、中心极限定理）进行评估。
• 引入并分析Sibson和Arimoto的互信息度量，作为Shannon互信息的Rényi基替代方案。
• 通过基于阈值 $ c/M $ 的条件概率分区，推导出 $ C_{1-s}^{\uparrow}(f(A)|E|P_{AE}) $ 的上界，实现对渐近行为的紧密控制。
• 运用对称化和凸性论证，证明哈希函数在最小化Rényi散度时的最优性，使用 $ (u)^{1-s} + (v)^{1-s} $ 的不等式关系（$ s > 0 $）。
• 采用剩余哈希引理框架，并将其扩展至Rényi熵设置，尤其适用于极小熵和碰撞熵（$ s=2 $）情形。

实验结果

研究问题

• RQ1 Rényi信息度量阶数 $ s > 0 $ 如何改变密钥生成的根本极限，与Shannon度量相比有何不同？
• RQ2 在随机哈希下，基于Rényi的等效性度量的指数衰减率是多少？与基于Shannon的误差指数有何差异？
• RQ3 Rényi安全度量的第二阶渐近行为如何？当第二阶编码速率较大时其表现如何？
• RQ4 能否推导出Rényi等效性的紧致非渐近界，并利用极限定理进行渐近评估？
• RQ5 Rényi阶数 $ s $ 的选择如何影响哈希函数在实现与相关窃听者源的均匀性和独立性方面的性能？

主要发现

• 对于 $ s > 0 $，Rényi散度 $ D_{1+s} $ 导致密钥生成的根本极限与Shannon情形（$ s=0 $）不同，表明最优速率依赖于Rényi阶数。
• 基于Rényi的等效性指数衰减率通过 $ \frac{1}{n}\log D_{1+s}(P_{f(A^n),E^n} \| P_{\text{mix}} \times P_{E^n}) $ 表征，广义了经典误差指数分析。
• 第二阶渐近行为具有紧致界，且当第二阶编码速率量级较大时，这些界能精确匹配，表明渐近紧致性。
• 最优哈希函数通过最小化 $ \sum_i \left( \sum_{a \in f^{-1}(i)} P_A(a) \right)^{1-s} $ 实现，且通过在 $ c/M $ 处设置阈值实现各桶间质量的平衡。
• 对于Rényi阶数 $ s=2 $，结果恢复了已知的基于碰撞熵的界，验证了该框架在剩余哈希引理背景下的有效性。
• 本文证明了 $ \mathrm{e}^{-\frac{s}{1-s}C_{1-s}^{\uparrow}(f(A)|E)} \leq \sum_e P_E(e) \left( P_{A|E=e}\{a: P_{A|E=e}(a) \geq c/M\} c^{-s} + P_{A|E=e}\{a: P_{A|E=e}(a) < c/M\}^{1-s} \right)^{\frac{1}{1-s}} $，从而实现了对安全度量的紧密控制。