[论文解读] Optimal encoding on discrete lattice with translational invariant constrains using statistical algorithms

Jarek Duda|ArXiv.org|Oct 20, 2007

Cellular Automata and Applications参考文献 9被引用 14

一句话总结

本文提出了一种用于具有平移不变约束的离散格点上的渐近最优编码的统计算法框架，通过最大熵随机游走和一种新型数制系统（非对称数制系统）的推广，实现了接近容量极限的数据压缩。对于硬方格模型，该方法在每节点上与理论最大值相差仅10⁻¹⁰比特，提供了一种具备内置加密与纠错功能的实用替代方案，可替代算术编码。

ABSTRACT

In this paper will be presented methodology of encoding information in valuations of discrete lattice with some translational invariant constrains in asymptotically optimal way. The method is based on finding statistical description of such valuations and changing it into statistical algorithm, which allows to construct deterministically valuation with given statistics. Optimal statistics allow to generate valuations with uniform distribution - we get maximum information capacity this way. It will be shown that we can reach the optimum for one-dimensional models using maximal entropy random walk and that for the general case we can practically get as close to the capacity of the model as we want (found numerically: lost 10^{-10} bit/node for Hard Square). There will be also presented simpler alternative to arithmetic coding method which can be used as cryptosystem and data correction method too.

研究动机与目标

• 开发一种在渐近最优速率下对具有平移不变约束的离散格点进行信息编码的方法论。
• 建立格点赋值的统计描述，使其在所有有效构型上呈现均匀分布，从而最大化信息容量。
• 提供一种实用的、确定性的算法，用于生成具有所需统计特性的赋值，实现高效的数据编码。
• 通过非对称数制系统，提供一种密码学安全且具备纠错能力的算术编码替代方案。
• 证明在‘合理’模型中长程相关性消失，从而可定义良好行为的熵与最优统计描述。

提出的方法

• 在一维模型中使用最大熵随机游走，以解析方式推导最优统计描述并实现全容量。
• 将数制系统推广为非对称数制系统（ANS），实现高效、单表压缩与解压缩，并具备内置加密与纠错功能。
• 应用幂法计算由局部约束导出的转移矩阵的主导特征向量，从而实现对格点区域的概率赋值。
• 通过固定点迭代过程对统计描述进行迭代优化，将算法行为映射回其底层概率分布。
• 采用基于绑带的格点分解方法，将其划分为具有有限记忆（a,b）的一维条带，通过局部马尔可夫过程实现全局统计的数值近似。
• 使用零扩展绑带进行边界初始化，以最小化边缘效应，并提高收敛至目标统计分布的性能。

实验结果

研究问题

• RQ1 能否构建一种统计算法，以在平移不变约束下，使格点赋值在所有有效构型上呈现均匀分布？
• RQ2 在使用数值统计描述与迭代优化时，受限格点模型的信息容量能在多大程度上被逼近？
• RQ3 非对称数制系统能否作为受限格点编码中算术编码的实用、安全且抗错的替代方案？
• RQ4 在何种条件下，所有有效构型上的平均统计描述存在？其与长程相关性消失的关系如何？
• RQ5 如何有意义地定义并计算具有有限范围、平移不变约束的一般格点模型的熵？

主要发现

• 在一维情况下，通过最大熵随机游走的解析推导，获得了最优统计描述，实现了全容量。
• 在二维硬方格模型中，该方法在每节点上与理论最大值相差仅10⁻¹⁰比特，经数值验证。
• 使用非对称数制系统可实现快速、单表的压缩与解压缩，且具备内在的加密与纠错特性。
• 迭代算法收敛至固定点统计描述，估计熵与真实熵之间的差异随绑带记忆（a,b）增加而对数减小。
• 当a=5, b=5时，该方法与真实熵的差异仅为10⁻⁸·⁷²比特/节点，表明性能接近最优。
• 本文提出了一种实用的初始化方案，采用零扩展绑带，可最小化边界效应，并确保收敛至目标统计分布。