[论文解读] Asymmetric numeral systems

Jarek Duda|ArXiv.org|Feb 2, 2009

Algorithms and Data Compression参考文献 5被引用 81

一句话总结

本文提出了一种新型熵编码框架——非对称数位系统（Asymmetric Numeral Systems, ANS），该框架将标准数制系统推广至任意符号概率分布，仅使用单一状态实现高效编码，逼近香农极限的压缩性能。该方法支持快速、精确的编码，并通过伪随机初始化实现内置数据加密；同时引入一种实用的纠错机制，其期望纠错时间呈线性，适用于任意噪声水平下逼近香农极限的场景。

ABSTRACT

In this paper will be presented new approach to entropy coding: family of generalizations of standard numeral systems which are optimal for encoding sequence of equiprobable symbols, into asymmetric numeral systems - optimal for freely chosen probability distributions of symbols. It has some similarities to Range Coding but instead of encoding symbol in choosing a range, we spread these ranges uniformly over the whole interval. This leads to simpler encoder - instead of using two states to define range, we need only one. This approach is very universal - we can obtain from extremely precise encoding (ABS) to extremely fast with possibility to additionally encrypt the data (ANS). This encryption uses the key to initialize random number generator, which is used to calculate the coding tables. Such preinitialized encryption has additional advantage: is resistant to brute force attack - to check a key we have to make whole initialization. There will be also presented application for new approach to error correction: after an error in each step we have chosen probability to observe that something was wrong. There will be also presented application for new approach to error correction: after an error in each step we have chosen probability to observe that something was wrong. We can get near Shannon's limit for any noise level this way with expected linear time of correction.

研究动机与目标

• 开发一种通用的熵编码方法，将标准数制系统推广至任意符号概率分布。
• 用单状态编码机制替代传统双状态范围编码，以提升效率与简洁性。
• 通过密钥初始化的伪随机数生成器，将数据加密直接集成到编码过程中。
• 设计一种实用的纠错方案，其期望纠错时间呈线性，且在任意噪声水平下逼近香农信道容量。
• 在基于 ANS 的单一高效框架中统一压缩、加密与错误鲁棒性。

提出的方法

• 使用单一状态表示当前编码位置，替代算术编码中的双状态范围定义。
• 将符号均匀分布在整个状态空间中，而非连续区间，信息被编码在最低有效位中。
• 使用密钥种子初始化的伪随机数生成器构建编码表，实现内置加密。
• 在编码/解码过程中对状态应用单向变换，基于符号概率预先计算的查找表实现。
• 引入概率性错误检测机制：每一步以概率 $ p_d $ 检测到错误，通过路径追踪实现纠错。
• 通过在状态最低有效位上强制最小汉明距离，构建广义块码，利用异或与置换操作处理码字。

实验结果

研究问题

• RQ1 单状态熵编码器能否在压缩效率上接近香农熵极限，同时比算术编码更快？
• RQ2 如何在不增加计算开销的前提下，将数据加密原生集成到熵编码过程中？
• RQ3 能否设计一种实用的纠错机制，保持线性期望纠错时间，并在任意噪声水平下逼近香农极限？
• RQ4 使用伪随机初始化的编码表对压缩性能与安全性有何影响？
• RQ5 如何通过编码器内部状态在块之间连接冗余信息，以应对局部错误集中现象，同时避免纠错成本呈指数增长？

主要发现

• ANS 在仅使用单一状态的前提下，实现了与算术编码相当的压缩率，简化了实现并提升了速度。
• 该方法支持接近最优的压缩性能，当符号概率估计准确时，其精度逼近理论香农极限。
• 通过密钥初始化的伪随机表实现内置加密，对暴力破解攻击具有强抵抗能力，因需完整初始化才能验证任一密钥。
• 纠错机制在每一步以概率 $ p_d $ 检测错误，当 $ p_d $ 超过与香农极限相关的阈值时，可实现期望线性纠错时间。
• 通过编码器内部状态在块之间连接冗余信息，该方法可处理高密度局部错误，并逼近理论信道容量。
• 通过强制实现汉明距离（如距离2或以上）的广义块码，可立即检测单比特错误，减少解码表查找次数，从而加快纠错速度。