[论文解读] Analysis of Remaining Uncertainties and Exponents under Various Conditional Rényi Entropies

Vincent Y. F. Tan, Masahito Hayashi|arXiv (Cornell University)|May 31, 2016

Wireless Communication Security Techniques参考文献 34被引用 4

一句话总结

本文通过条件Rényi熵分析Slepian-Wolf源编码中剩余不确定性的渐近行为，引入新的单次界限和类型类生成函数矩方法。结果表明，不确定性的指数衰减速率统一了最大后验概率译码下的强 converse 指数与错误指数，为带有侧信息的失真压缩中不确定性和可靠性分析提供了统一框架。

ABSTRACT

In this paper, we analyze the asymptotics of the normalized remaining uncertainty of a source when a compressed or hashed version of it and correlated side-information is observed. For this system, commonly known as Slepian-Wolf source coding, we establish the optimal (minimum) rate of compression of the source to ensure that the remaining uncertainties vanish. We also study the exponential rate of decay of the remaining uncertainty to zero when the rate is above the optimal rate of compression. In our study, we consider various classes of random universal hash functions. Instead of measuring remaining uncertainties using traditional Shannon information measures, we do so using two forms of the conditional Rényi entropy. Among other techniques, we employ new one-shot bounds and the moments of type class enumerator method for these evaluations. We show that these asymptotic results are generalizations of the strong converse exponent and the error exponent of the Slepian-Wolf problem under maximum \emph{a posteriori} (MAP) decoding.

研究动机与目标

• 分析在观测到源信号压缩版本及相关侧信息时，Slepian-Wolf源编码中剩余不确定性的渐近衰减速率。
• 通过使用条件Rényi熵而非Shannon熵，推广Slepian-Wolf编码的强 converse 指数与错误指数。
• 推导新的单次界限，并应用类型类生成函数矩方法以评估不确定性和其指数衰减。
• 研究在不同Rényi参数下，随机通用哈希函数在最小化剩余不确定性方面的性能。
• 通过Rényi散度与条件熵度量，统一信息论安全与源编码中不确定性和可靠性的分析。

提出的方法

• 作者使用两种形式的条件Rényi熵：$ H_{1+s}(A^n|f(A^n),E^n) $ 及其Gallager形式 $ H_{1+s}^\uparrow(A^n|f(A^n),E^n) $，并明确定义以避免歧义。
• 通过Rényi散度与大偏差技术推导出剩余不确定性的新单次界限，以实现表达式的单字母化。
• 应用类型类生成函数矩方法分析不确定性的指数衰减，特别是在随机通用哈希函数背景下的应用。
• 利用类型法与倾斜分布，刻画最优压缩速率与不确定性的衰减指数。
• 通过分析控制衰减速率的 $ \Lambda(s,R) $ 的优化，建立不确定性衰减与Slepian-Wolf编码中已知指数之间的指数等价性。
• 通过基于侧信息经验分布的平均，推导出结果的条件版本，使用依赖于 $ Q_E $ 的熵与相对熵。

实验结果

研究问题

• RQ1 剩余不确定性的指数衰减速率与Slepian-Wolf编码中的强 converse 指数有何关系？
• RQ2 最大后验概率译码的错误指数是否可作为基于Rényi熵的不确定性衰减的一个特例被恢复？
• RQ3 在Rényi熵度量下，何种最优压缩速率可确保剩余不确定性渐近趋于零？
• RQ4 在存在侧信息的情况下，不同类别的通用哈希函数如何影响不确定性的衰减速率？
• RQ5 Rényi参数 $ s $ 在刻画压缩速率与不确定性之间权衡关系中起何作用？

主要发现

• 剩余不确定性 $ -\frac{1}{n}\log H_{1+s}(A^n|f(A^n),E^n) $ 的指数衰减速率被证明统一了Slepian-Wolf编码中的强 converse 指数与错误指数。
• 当压缩速率 $ R $ 超过最优速率 $ H(A|E) $ 时，不确定性以由 $ \Lambda(s,R) = s(R + D(P_{A|E}^{(t_R)}\|P_{A|E}|Q_E)) $ 决定的速率指数衰减，其中 $ t_R $ 满足 $ H(P_{A|E}^{(t_R)}|Q_E) = R $。
• 当 $ R < H_{1-s}(A|P_A) $ 且 $ s \in [0, s_0(A|P_A)] $ 时，不确定性衰减速率与类型类生成函数矩方法导出的下界一致，证实了紧致性。
• 本研究通过从等价性转向剩余不确定性，推广了[19]中的先前成果，需引入新颖的单次界限与大偏差工具。
• 通过基于侧信息经验类型的平均，推导出不确定性的条件版本，在适当条件下得到 $ \Lambda(s,R) = s(R + D(P_{A|E}^{(t_R)}\|P_{A|E}|Q_E)) $。
• 分析确认 $ \widetilde{\beta}_n \doteq \exp(-n\Lambda(s,R)) $，表明不确定性衰减由优化后的 $ \Lambda(s,R) $ 指数主导。