[论文解读] Iterative Quantization Using Codes On Graphs

Emin Martinian, Jonathan S. Yedidia|arXiv (Cornell University)|Aug 2, 2004

Error Correcting Code Techniques参考文献 4被引用 94

一句话总结

本文提出使用图上的编码与迭代消息传递算法，实现近似最优的源编码，特别针对二元擦除量化（BEQ）问题。通过利用信道编码与源编码之间的对偶性，表明二元擦除信道（BEC）的容量达到码的对偶，可生成接近率失真极限的BEQ码，具备高效的迭代编码与解码，其速率效率优于低密度奇偶校验（LDPC）码。

ABSTRACT

We study codes on graphs combined with an iterative message passing algorithm for quantization. Specifically, we consider the binary erasure quantization (BEQ) problem which is the dual of the binary erasure channel (BEC) coding problem. We show that duals of capacity achieving codes for the BEC yield codes which approach the minimum possible rate for the BEQ. In contrast, low density parity check codes cannot achieve the minimum rate unless their density grows at least logarithmically with block length. Furthermore, we show that duals of efficient iterative decoding algorithms for the BEC yield efficient encoding algorithms for the BEQ. Hence our results suggest that graphical models may yield near optimal codes in source coding as well as in channel coding and that duality plays a key role in such constructions.

研究动机与目标

• 探索图模型与迭代算法——在信道编码中取得成功——是否可被适配用于近似最优的源编码。
• 研究迭代量化相较于现有系统（如熵编码标量量化（ECSQ）与网格编码量化（TCQ））的潜在增益，特别是在中等速率下的表现。
• 建立二元擦除信道（BEC）的纠错码与二元擦除量化（BEQ）问题的量化码之间的对偶框架。
• 证明BEC容量达到码的对偶可生成接近BEQ问题率失真极限的码，且具备高效的迭代编码与解码。

提出的方法

• 本文将二元擦除量化（BEQ）问题表述为二元擦除信道（BEC）编码问题的对偶，利用源编码与信道编码之间的对偶性。
• 在对偶码结构上应用迭代消息传递算法，利用对偶码 $\mathcal{C}^\perp$ 的生成矩阵进行量化信号的编码与解码。
• 将解码过程重新表述为在对偶图上的迭代擦除恢复问题，通过从校验矩阵导出的线性方程求解被擦除的位置。
• 该算法使用数据结构追踪恰好有一个未被擦除校验的变量，从而在 $\mathcal{O}(d \cdot n)$ 时间内实现高效的迭代消息传递与变量赋值。
• 当且仅当对偶码矩阵具有满列秩时，可保证解码成功，确保对任意输入均存在解。
• 理论分析证明，对偶码的迭代解码可直接对应于迭代量化，保持效率与正确性。

实验结果

研究问题

• RQ1 能否将信道编码中的迭代解码技术有效对偶化用于源编码，特别是针对BEQ问题？
• RQ2 BEC容量达到码的对偶是否可生成接近BEQ问题理论最小速率的码？
• RQ3 迭代消息传递算法是否可被适配以在源编码中高效运行，即使输入远离码字？
• RQ4 在BEQ场景下，LDPC码的对偶在速率效率上与容量达到码相比如何？
• RQ5 能否利用BEC与BEQ之间的对偶性，为BEQ推导出高效的编码与解码算法？

主要发现

• BEC容量达到码的对偶可生成接近BEQ问题最小可能速率的码，实现率失真极限 $R(D=0) = 1 - e$。
• 相比之下，用于BEQ的低密度奇偶校验（LDPC）码无法实现最小速率，除非其密度随块长至少以对数方式增长。
• BEQ解码的迭代消息传递算法效率高，时间复杂度为 $\mathcal{O}(d \cdot n)$，其中 $d$ 为平均度数，$n$ 为块长。
• 当且仅当对偶码矩阵具有满列秩时，该算法可成功解码任意输入向量 $\vec{z}$，确保解的存在性。
• BEC与BEQ之间的对偶性使得可利用从BEC解码导出的迭代解码算法，实现BEQ的高效编码，同时保持低复杂度。
• 理论结果确认，迭代量化算法正确且可在有限时间内终止，输出与输入未被擦除位置匹配的有效码字。