[论文解读] Refined Asymptotics for Rate-Distortion using Gaussian Codebooks for Arbitrary Sources

Lin Zhou, Vincent Y. F. Tan+1 more|arXiv (Cornell University)|Aug 16, 2017

Wireless Communication Security Techniques参考文献 16被引用 6

一句话总结

该论文针对任意平稳无记忆信源的有失真信源编码，利用高斯码书建立了精细渐近分析——包括二阶、中等偏差和大偏差。结果表明，i.i.d. 高斯码书与球形码书在分散度和中等偏差常数上完全相同，但 i.i.d. 码书在率大于率失真函数时表现出严格更大的超额失真指数，说明其在误差衰减性能上更优。

ABSTRACT

The rate-distortion saddle-point problem considered by Lapidoth (1997) consists in finding the minimum rate to compress an arbitrary ergodic source when one is constrained to use a random Gaussian codebook and minimum (Euclidean) distance encoding is employed. We extend Lapidoth's analysis in several directions in this paper. Firstly, we consider refined asymptotics. In particular, when the source is stationary and memoryless, we establish the second-order, moderate, and large deviation asymptotics of the problem. Secondly, by "random Gaussian codebook", Lapidoth referred to a collection of random codewords, each of which is drawn independently and uniformly from the surface of an $n$-dimensional sphere. To be more precise, we term this as a spherical codebook. We also consider i.i.d.\ Gaussian codebooks in which each random codeword is drawn independently from a product Gaussian distribution. We derive the second-order, moderate, and large deviation asymptotics when i.i.d.\ Gaussian codebooks are employed. In contrast to the recent work on the channel coding counterpart by Scarlett, Tan and Durisi (2017), the dispersions for spherical and i.i.d.\ Gaussian codebooks are identical. The ensemble excess-distortion exponents for both spherical and i.i.d.\ Gaussian codebooks are established for all rates. Furthermore, we show that the i.i.d.\ Gaussian codebook has a strictly larger excess-distortion exponent than its spherical counterpart for any rate greater than the ensemble rate-distortion function derived by Lapidoth.

研究动机与目标

• 通过分析有限块长下偏离率失真函数的性能，将拉皮多思的率失真鞍点问题扩展至一阶率失真函数之外的精细渐近行为。
• 比较 i.i.d. 高斯码书与球形码书在二阶、中等偏差与大偏差行为下的性能表现。
• 建立码书集合的超额失真指数，并确定在率大于基本极限时，哪种码书类型具有更优的误差衰减性能。
• 提供对分散度与偏差区域的统一分析，将已知的高斯无记忆信源结果作为特例恢复。

提出的方法

• 通过分析有限块长下偏离率失真函数的性能，以超额失真概率作为性能度量，推导出二阶渐近行为。
• 应用大偏差理论，刻画当码率严格高于率失真函数时，超额失真概率的指数衰减速率。
• 采用变分方法计算码书集合的超额失真指数，利用矩生成函数与 Legendre-Fenchel 变换。
• 通过分析最小距离译码下的率失真性能，比较 i.i.d. 高斯码书与球形码书的性能。
• 证明尽管码书生成机制不同，两种码书类型的分散度与中等偏差常数完全相同。
• 证明对于所有高于码书集合率失真函数的速率，i.i.d. 高斯码书的超额失真指数严格大于球形码书。

实验结果

研究问题

• RQ1 对于任意无记忆信源的有失真信源编码，i.i.i.d. 高斯码书与球形码书是否具有相同的二阶渐近性能？
• RQ2 使用高斯码书对任意信源进行编码时，超额失真概率的中等偏差行为如何？
• RQ3 在率大于率失真函数时，i.i.d. 高斯码书与球形码书的超额失真指数如何比较？
• RQ4 所提出的框架能否恢复已知的高斯无记忆信源的分散度与超额失真指数结果？
• RQ5 为何 i.i.d. 与球形高斯码书具有相同的分散度却有不同的超额失真指数？

主要发现

• i.i.d. 高斯码书与球形码书的二阶渐近性能（即分散度）完全相同，且仅依赖于信源的二阶与四阶矩，通过一个简单公式表达。
• 两种码书类型的中等偏差常数完全相同，当特例化为高斯无记忆信源时，可还原为已知结果。
• 在所有高于码书集合率失真函数的速率下，i.i.d. 高斯码书的码书集合超额失真指数严格大于球形码书。
• 对于高斯无记忆信源，使用 i.i.d. 高斯码书推导出的超额失真指数与 Ihara 和 Kubo（1997）的已知结果一致，验证了该框架的正确性。
• 两种码书类型的分散度均等于 Kostina 与 Verdú（2012）所建立的高斯无记忆信源有失真压缩的分散度。
• 尽管分散度相同，但超额失真指数存在性能差距，表明 i.i.d. 码书在大偏差区域具有更优的尾部行为。