[论文解读] Adaptive Codes: A New Class of Non-standard Variable-length Codes

Dragoş Trincă|ArXiv.org|May 2, 2005

Algorithms and Data Compression参考文献 7被引用 3

一句话总结

本文提出自适应码（adaptive codes），这是一种新型的非标准可变长度编码，能根据输入字符串中先前的符号动态分配码字，实现上下文敏感的压缩。作者提出了一种高效算法来构建一阶自适应码，并证明其压缩率受输入熵的限制，在输入字符串中包含大量重复符号对时，可实现接近最优的性能。

ABSTRACT

We introduce a new class of non-standard variable-length codes, called adaptive codes. This class of codes associates a variable-length codeword to the symbol being encoded depending on the previous symbols in the input data string. An efficient algorithm for constructing adaptive codes of order one is presented. Then, we introduce a natural generalization of adaptive codes, called GA codes.

研究动机与目标

• 开发一类新型可变长度编码，根据先前输入符号动态调整码字分配，以提升压缩效率。
• 设计一种高效算法，用于构建一阶自适应码，以支持实际应用。
• 通过将算法的压缩率与熵关联，建立压缩性能的理论边界。
• 将自适应码推广为更广泛的类别——GA码，以支持更高阶及灵活的上下文自适应。

提出的方法

• 自适应码通过函数 $ c: \Sigma \times \Sigma^{\leq n} \rightarrow \Delta^{+} $ 定义，其中码字分配依赖于迄今已观察到的最后 $ n $ 个符号。
• 同态扩展 $ \overline{c} $ 确保单射性，从而保证编码字符串的唯一可译性。
• 提出一种基于编码符号对并使用前缀码表示上下文相关码字的算法，用于构建一阶自适应码。
• 对压缩率 $ R_A(w) $ 进行分析并建立边界：$ H_A(w) \leq R_A(w) \leq H_A(w) + 1 $，其中 $ H_A(w) $ 为编码序列的熵。
• 通过引入自适应函数 $ F $，将自适应码推广为GA码，允许选择任意上下文而不仅限于固定长度的历史。
• 证明了在何种理论条件下，上下文相关码字集合 $ C_{\sigma_1\ldots\sigma_h} $ 构成前缀码，从而确保同态扩展的单射性。

实验结果

研究问题

• RQ1 能否设计出根据先前输入符号动态调整码字长度的可变长度编码，以提升压缩性能？
• RQ2 何种算法结构可实现一阶自适应码的高效构建，并保证唯一可译性？
• RQ3 自适应码的压缩率与输入数据熵之间有何关系？
• RQ4 自适应码能否推广至支持任意上下文选择，而不仅限于固定长度的历史？
• RQ5 在何种理论条件下，可确保上下文相关码字集合保持前缀码性质，从而维持唯一可译性？

主要发现

• 提出一种高效算法用于构建一阶自适应码，使其在数据压缩中具备实际应用潜力。
• 该算法的压缩率 $ R_A(w) $ 受输入熵 $ H_A(w) $ 的限制，满足 $ H_A(w) \leq R_A(w) \leq H_A(w) + 1 $，表明其接近最优性能。
• 当输入字符串中包含大量重复符号对时，由于上下文敏感的码字分配，自适应码能实现高效率压缩。
• 自适应码类被正式推广为GA码，并证明标准自适应码是GA码的一个特例。
• 建立了上下文相关码字集合 $ C_{\sigma_1\ldots\sigma_h} $ 构成前缀码的理论条件，确保同态扩展的唯一可译性。
• 基于熵的分析表明，当输入具有强统计依赖性时，压缩率趋近理论最小值。