[论文解读] Distributed Arithmetic Coding for the Asymmetric Slepian-Wolf problem

Marco Grangetto, Enrico Magli+1 more|ArXiv.org|Dec 3, 2007

Wireless Communication Security Techniques参考文献 45被引用 4

一句话总结

本文提出分布式算术编码（DAC），一种新颖的Slepian-Wolf信源编码方案，通过在解码端利用辅信息辅助的序列解码，将经典算术编码扩展至分布式场景。DAC在小块长度下实现优异的压缩性能，优于编码方案，支持灵活的信源建模（包括基于上下文的模型），同时保持线性编码复杂度。

ABSTRACT

Distributed source coding schemes are typically based on the use of channels codes as source codes. In this paper we propose a new paradigm, termed "distributed arithmetic coding", which exploits the fact that arithmetic codes are good source as well as channel codes. In particular, we propose a distributed binary arithmetic coder for Slepian-Wolf coding with decoder side information, along with a soft joint decoder. The proposed scheme provides several advantages over existing Slepian-Wolf coders, especially its good performance at small block lengths, and the ability to incorporate arbitrary source models in the encoding process, e.g. context-based statistical models. We have compared the performance of distributed arithmetic coding with turbo codes and low-density parity-check codes, and found that the proposed approach has very competitive performance.

研究动机与目标

• 解决基于信道编码的现有Slepian-Wolf编码器的局限性，这些编码器通常需要大块长度，且难以对非平稳信源进行自适应建模。
• 开发一种分布式信源编码方法，保留算术编码的优势（如自适应概率建模和低编码复杂度），同时支持利用辅信息进行联合解码。
• 在整个Slepian-Wolf率区域（包括非对称和对称编码模式）实现一致优良的性能，尤其在小块和中等块长度下表现优异。
• 在分布式编码中支持任意信源模型（如基于上下文的模型）的使用，类似于经典算术编码，而传统基于校验的信道编码方法难以实现此功能。

提出的方法

• 通过在解码端利用辅信息进行序列解码，将经典算术编码扩展至分布式场景，使编码器能够基于条件概率生成压缩比特流。
• 设计一种联合解码器，利用辅信息解析压缩比特流中的歧义，采用类似标准算术编码的区间解码方法。
• 将编码过程形式化为源符号到区间的序列映射，其中区间边界根据来自信源模型的条件概率动态更新。
• 通过允许任一信源作为辅信息或双方均以模糊方式编码，支持非对称和对称Slepian-Wolf编码，具体取决于率分配策略。
• 将基于上下文的统计模型集成到编码过程中，实现基于历史符号的自适应概率估计，从而提升对非平稳信源的压缩效率。
• 通过复用经典算术编码的结构，确保线性编码复杂度，使DAC适用于实时和资源受限的应用场景。

实验结果

研究问题

• RQ1 能否将算术编码原理扩展至分布式信源编码场景，使其在小块长度下的性能优于基于信道编码的Slepian-Wolf方案？
• RQ2 与传统的基于校验的信道编码相比，分布式算术编码在支持灵活且自适应的信源模型（如基于上下文的模型）方面具有多大程度的潜力？
• RQ3 在不同块长度和率分配下，DAC在帧误码率（FER）和比特误码率（BER）方面与最先进的编码方案（如编码和LDPC码）相比表现如何？
• RQ4 DAC能否在整个Slepian-Wolf率区域（包括非对称和对称编码模式）实现一致优良的性能，而不会出现显著性能下降？
• RQ5 反馈对可变率DAC性能有何影响？其性能距离理论Slepian-Wolf边界有多近？

主要发现

• DAC在整个Slepian-Wolf率区域均实现一致优良的性能，小块长度下仅存在0.03–0.06 bps的次优性，优于编码和不规则LDPC码。
• 在块长度 $ N = 200 $ 时，DAC的帧误码率（FER）显著低于16状态编码和不规则LDPC码，与编码相比性能差距为0.14–0.21 bps。
• 在 $ N = 1000 $ 时，DAC的比特误码率（BER）性能与 $ N = 200 $ 几乎完全一致，表明其对块长度不敏感，而编码和LDPC码在小块长度下性能退化加剧。
• DAC的性能几乎不受两信源之间率分配比例的影响，表明其在对称编码中对不同率分配具有高度鲁棒性。
• DAC实现线性编码复杂度，与经典算术编码相当，适用于实时和低复杂度应用场景，而一般LDPC码常具有二次方复杂度。
• 支持基于上下文的模型和实时概率估计，使DAC比基于信道编码的DSC方案更能有效适应非平稳信源，后者需按块调整速率且存在显著延迟。