[论文解读] Arithmetic Distribution Matching

Sebastian Baur, Georg Böcherer|arXiv (Cornell University)|Aug 18, 2014

Algorithms and Data Compression参考文献 10被引用 12

一句话总结

本文提出了一种新型在线算法——算术分布匹配（ADM），该算法基于算术编码原理，可逆地将离散无记忆源（DMS）转换为目标DMS。随着输入长度增加，ADM能完美模拟目标分布，归一化信息散度与熵率收敛至最优值，从而在无需离线码书预计算的情况下，实现高效的概率整形与速率自适应。

ABSTRACT

In this work, arithmetic distribution matching (ADM) is presented. ADM invertibly transforms a discrete memoryless source (DMS) into a target DMS. ADM can be used for probabilistic shaping and for rate adaption. Opposed to existing algorithms for distribution matching, ADM works online and can transform arbitrarily long input sequences. It is shown analytically that as the input length tends to infinity, the ADM output perfectly emulates the target DMS with respect to the normalized informational divergence and the entropy rate. Numerical results are presented that confirm the analytical bounds.

研究动机与目标

• 开发一种在线、可逆的分布匹配算法，避免对大规模序列进行离线码书计算。
• 在通信系统中实现高效的概率整形与速率自适应。
• 从归一化信息散度与熵率的角度，理论分析ADM的性能。
• 通过数值仿真验证理论边界。
• 为大规模输入序列提供一种实用且可扩展的解决方案，其中最优离线匹配器不可行。

提出的方法

• ADM利用算术编码原理，将输入序列映射为可变长度的输出序列，以模拟目标DMS。
• 该算法在[0,1)区间内维护源概率与目标概率的区间表示，并逐步细化。
• 在每一步中，算法选择与目标概率分布匹配的最大子区间，以确保可逆性。
• 最终输出区间选择为最后一次细化步骤中得到的两个候选区间的最大值。
• 该方法确保源区间与最终码区间之比被限定在 $1/(p_{\text{code}}(1-p_{\text{code}}))$ 以内。
• ADM为在线操作，逐比特处理序列，无需存储完整码书。

实验结果

研究问题

• RQ1 能否设计一种在线、可逆的分布匹配器，避免对大规模序列进行离线码书计算？
• RQ2 随着输入长度增加，输出与目标DMS之间的归一化信息散度如何变化？
• RQ3 ADM输出的熵率是否收敛至目标DMS的熵率？
• RQ4 ADM能否在保持低复杂度与在线操作的同时，实现与最优离线匹配器相当的性能？
• RQ5 归一化散度的理论上限是多少？是否可渐近达到？

主要发现

• 当输入长度 $n$ 趋近于无穷大时，ADM输出与目标DMS之间的归一化信息散度收敛至零，其上界为 $-\log_2(p_{\text{code}}(1-p_{\text{code}}))$。
• 随着 $n$ 增加，ADM输出的熵率从下方收敛至 $\mathbb{H}(P_Z)$，即目标DMS的熵。
• 当 $n = 10^4$ 时，归一化散度的上界为 $2.2515 \times 10^{-4}$，表明具有强烈的渐近收敛性。
• 数值结果证实，ADM在归一化散度方面优于次优在线方法，即使在反复应用最优离线码时亦然。
• 该算法具备可逆性且为在线操作，适用于概率整形等大规模应用，如编码调制中的应用。
• 理论证明了区间比 $I_{\text{src}}/I_{\text{code}}^{\text{final}} \leq 1/(p_{\text{code}}(1-p_{\text{code}}))$ 对所有输入均成立。