[论文解读] Lossless Data Compression at Finite Blocklengths

Ioannis Kontoyiannis, Sergio Verdú|arXiv (Cornell University)|Dec 11, 2012

Algorithms and Data Compression参考文献 28被引用 4

一句话总结

本文在有限块长下建立了固定到可变长度无损压缩的精确非渐近界，将最优码长分布与信源信息谱联系起来。引入了varentropy速率和信源扩散率作为关键参数，结合熵速率，紧密逼近马尔可夫源和混合源的极限性能，并为马尔可夫过程推导出显式的高斯近似。

ABSTRACT

This paper provides an extensive study of the behavior of the best achievable rate (and other related fundamental limits) in variable-length lossless compression. In the non-asymptotic regime, the fundamental limits of fixed-to-variable lossless compression with and without prefix constraints are shown to be tightly coupled. Several precise, quantitative bounds are derived, connecting the distribution of the optimal codelengths to the source information spectrum, and an exact analysis of the best achievable rate for arbitrary sources is given. Fine asymptotic results are proved for arbitrary (not necessarily prefix) compressors on general mixing sources. Non-asymptotic, explicit Gaussian approximation bounds are established for the best achievable rate on Markov sources. The source dispersion and the source varentropy rate are defined and characterized. Together with the entropy rate, the varentropy rate serves to tightly approximate the fundamental non-asymptotic limits of fixed-to-variable compression for all but very small blocklengths.

研究动机与目标

• 为一般信源在有限块长下的固定到可变长度无损压缩的 fundamental 非渐近极限进行表征。
• 建立最优码长分布与信源信息谱之间的紧密联系，特别是针对马尔可夫源和混合源。
• 定义并表征源扩散率和varentropy速率作为近似有限块长压缩性能的关键参数。
• 为马尔可夫源推导出最佳可实现速率的显式、非渐近高斯近似界。
• 通过证明前缀与非前缀压缩器的根本极限在有限块长域内紧密耦合，统一分析前缀与非前缀压缩器。

提出的方法

• 使用最优压缩器 ${\mathsf{f}}_n^*$，其将字典序排列的码字分配给按概率递减排序的信源序列，确保单射性并最小化期望码长。
• 定义关键性能度量：$R^*(n,\epsilon)$、$\epsilon^*(n,k)$、$n^*(R,\epsilon)$ 和 $\bar{R}(n)$，并通过积分与分位数关系证明其数学等价性。
• 将信息谱 $\imath_{X^n}(X^n) = \log_2 \frac{1}{P_{X^n}(X^n)}$ 作为核心对象，连接码长与信源概率。
• 推导 $\bar{R}(n)$ 的精确表达式，即最优码长的期望，并通过 $\bar{R}(n) = \int_0^1 R^*(n,x)\,dx - \frac{1}{n}$ 将其与超额率概率之和关联。
• 通过定理23建立最优码长与信息谱之间的二阶矩等价性，证明当二阶矩发散时，有 $\lim_{n\to\infty} \mathbb{E}[\ell^2({\mathsf{f}}_n^*)]/\mathbb{E}[\imath^2_{X^n}] = 1$。
• 对于马尔可夫源，推导出最佳可实现速率的显式高斯近似界，其中varentropy速率与扩散率作为二阶参数。

实验结果

研究问题

• RQ1 在有限块长下，固定到可变长度无损压缩的根本极限如何表现，特别是在速率、超额率概率和块长需求方面？
• RQ2 对于一般信源，最优码长分布与信源信息谱之间的确切关系是什么？
• RQ3 如何为马尔可夫源和混合源定义并表征varentropy速率与源扩散率？
• RQ4 熵速率、varentropy速率与扩散率在多大程度上共同逼近非渐近压缩极限？
• RQ5 最优码长与信息谱之间的精确二阶矩关系是什么？这些关系如何支持高斯近似？

主要发现

• 根本极限 $R^*(n,\epsilon)$、$\epsilon^*(n,k)$ 与 $n^*(R,\epsilon)$ 在数学上等价，且 $\bar{R}(n) = \int_0^1 R^*(n,x)\,dx - \frac{1}{n}$ 提供了最小平均速率的精确表达式。
• 对于马尔可夫源，最佳可实现速率被一个高斯分布紧密近似，其均值等于熵速率，方差由源扩散率与varentropy速率决定。
• varentropy速率为 $\lim_{n\to\infty} \frac{1}{n} \mathsf{Var}(\imath_{X^n}(X^n))$，表征了最优码长分布的二阶行为。
• 源扩散率为 $\lim_{n\to\infty} \frac{1}{n} \mathsf{Var}(\imath_{X^n}(X^n))$，与熵速率共同提供了有限块长压缩极限的紧密二阶近似。
• 对于一个记忆less信源，当 $P(X=\bullet) > P(X=\circ)$ 且 $M \to \infty$ 时，最优码长方差在2与2.25之间振荡，表明方差的 $\limsup$ 与 $\liminf$ 不收敛。
• 二阶矩比 $\mathbb{E}[\ell^2({\mathsf{f}}_n^*)]/\mathbb{E}[\imath^2_{X^n}]$ 在 $n \to \infty$ 时收敛于1，只要信息谱的二阶矩发散，从而确立了强渐近等价性。