[论文解读] Data Compression and Entropy Estimates by Non-sequential Recursive Pair Substitution

Peter Grassberger|ArXiv.org|Jul 5, 2002

Algorithms and Data Compression参考文献 6被引用 17

一句话总结

本文证明了非顺序递归配对替换（NSRPS）可作为马尔可夫序列中最优数据压缩和精确熵估计的基础。通过递归地将最频繁的字符对替换为新符号，并使用高效编码表示替换，NSRPS 能够使熵估计趋近理论极限，在从 135 GB 文本数据外推后，得出英文的真实熵约为 0.8 bit/character。

ABSTRACT

We argue that Non-sequential Recursive Pair Substitution (NSRPS) as suggested by Jiménez-Montaño and Ebeling can indeed be used as a basis for an optimal data compression algorithm. In particular, we prove for Markov sequences that NSRPS together with suitable codings of the substitutions and of the substitute series does not lead to a code length increase, in the limit of infinite sequence length. When applied to written English, NSRPS gives entropy estimates which are very close to those obtained by other methods. Using ca. 135 GB of input data from the project Gutenberg, we estimate the effective entropy to be $\approx 1.82$ bit/character. Extrapolating to infinitely long input, the true value of the entropy is estimated as $\approx 0.8$ bit/character.

研究动机与目标

• 确立 NSRPS 是否可作为马尔可夫序列中最优数据压缩的基础。
• 评估 NSRPS 在外推至无限序列长度时，对书面语言（尤其是英文）真实熵估计的有效性。
• 解决先前 NSRPS 实现中使用低效且非唯一的编码方式的问题，这些方式无法可靠估计熵。
• 为 NSRPS 提供一个数学上严谨的框架，包含唯一可解且高效的替换与替换序列编码。
• 实现熵估计向无限序列长度的可靠外推，为现有方法提供更稳健的替代方案。

提出的方法

• NSRPS 递归地将序列中频率最高的非重叠字符对替换为扩展字母表中的新符号，每次替换后字母表规模增加。
• 该方法采用贪心策略：在每一步中，选择频率最高的字符对进行替换，直到进一步替换不再减少编码长度为止。
• 替换通过高效且唯一可解的编码方式表示，同时跟踪结果序列的编码长度，以确保在无限长度极限下不会导致总长度净增加。
• 在熵估计方面，通过每步替换后的配对概率计算序列的熵，并将得到的熵估计值拟合到幂律衰减模型，以实现向无限替换深度的外推。
• 使用模型 $ \hat{h}_i = h + \frac{c}{(i + i_0)^\alpha} $ 拟合熵估计值，从而外推出真正的渐近熵 $ h $。
• 该方法在来自 Project Gutenberg 的 135 GB 英文文本上进行了验证，结果外推至无限输入长度。

实验结果

研究问题

• RQ1 NSRPS 是否可被证明在无限序列长度极限下对马尔可夫序列实现最优压缩？
• RQ2 当外推至无限输入长度时，NSRPS 是否能提供一种可靠的方法来估计书面语言（尤其是英文）的真实熵？
• RQ3 NSRPS 的熵估计与 Lempel-Ziv 或基于树的赌博算法等现有成熟方法相比如何？
• RQ4 编码替换所引入的开销在多大程度上影响了压缩方案的最优性？
• RQ5 NSRPS 下的熵估计收敛性是否可被可靠建模，从而实现向真正渐近熵的外推？

主要发现

• 当替换与替换序列被高效编码时，NSRPS 在无限序列长度极限下实现了马尔可夫序列的最优压缩，编码长度不再增加。
• 对于英文文本，NSRPS 使用 135 GB 文本数据得出的熵估计约为 1.82 bit/character，与其它方法的估计值接近。
• 通过幂律拟合外推至无限输入长度后，英文真实熵估计为 ≈0.8 bit/character，置信区间为 ±0.2 bit/character。
• 外推后的熵估计与香农原始估计及其他近期研究结果一致，但排除了某些早期研究提出的零熵可能性。
• 尽管计算成本较高，该方法在向无限长度外推方面比现有方法（如基于树的赌博算法）更具可靠性。
• 研究证实马尔可夫结构是 NSRPS 过程的不动点，但该不动点的吸引子性质尚未得到证明。