[论文解读] Introduction to Arithmetic Coding -- Theory and Practice

Amir Said|arXiv (Cornell University)|Feb 2, 2023

Algorithms and Data Compression参考文献 50被引用 107

一句话总结

本章介绍算术编码，涵盖其理论、最优性以及实际实现方面，包括定点算术、自适应编码和复杂性考虑。

ABSTRACT

This introduction to arithmetic coding is divided in two parts. The first explains how and why arithmetic coding works. We start presenting it in very general terms, so that its simplicity is not lost under layers of implementation details. Next, we show some of its basic properties, which are later used in the computational techniques required for a practical implementation. In the second part, we cover the practical implementation aspects, including arithmetic operations with low precision, the subdivision of coding and modeling, and the realization of adaptive encoders. We also analyze the arithmetic coding computational complexity, and techniques to reduce it.

研究动机与目标

• 解释为什么算术编码在熵编码中有效以及其对多样数据源的适用性。
• 给出带区间和码值的基本算术编码模型，强调最优性与性质。
• 展示实际实现方面，包括定点算术、自适应编码和同步要求。
• 演示如何将编码与源建模分离并分析计算复杂性。

提出的方法

• 定义数据源、概率和累积分布以建立基于区间的编码框架。
• 描述编码过程为根据 p(s_k) 和 c(s_k) 在基 b_k 和长度 l_k 的 Phi_k(S) 的嵌套区间更新。
• 描述解码过程，使用归一化的码值通过 c(s) 和 p(s) 根据观测 v 来恢复符号序列。
• 讨论定点算术和实现考虑，如进位、再规范化和输出效率。
• 通过更新概率分布并在编码器和解码器之间维持同步来实现自适应编码（以及使用完全相同规则的重要性）。
• 分析算术编码的复杂性，包括区间再规范化、符号搜索和累积分布估计。

实验结果

研究问题

• RQ1 算术编码如何在独立同分布源上实现最优压缩，在自适应或非 i.i.d. 源上实现近似最优的性能？
• RQ2 在保持正确性的同时，采用定点精度并降低复杂度来实现算术编码的实际考虑因素与技术是什么？
• RQ3 编码与源建模分离如何影响现实世界压缩应用中的系统设计和适应性？
• RQ4 使用动态（时变）源对编码器/解码器同步性和正确性有何影响？

主要发现

• 算术编码实现渐近最优压缩，平均每符号位数趋近于源熵 H(Ω)。
• 在编码达到最优时，码值被映射到区间 [0,1) 且具有均匀分布特性，便于有效表示和解码。
• 在编码与源建模之间存在明确分离，使概率模型与编码引擎的独立开发成为可能。
• 编码器/解码器同步对正确性至关重要，特别是在自适应和动态建模下，必须共享完全相同的规则和精度。
• 区间重新缩放和定点策略使实际实现具有可接受的复杂性和精度。