[论文解读] Achieving the Quadratic Gaussian Rate-Distortion Function for Source Uncorrelated Distortions

Milan S. Derpich, Jan Østergaard+1 more|ArXiv.org|Jan 11, 2008

Advanced Data Compression Techniques参考文献 14被引用 5

一句话总结

该论文证明了在源信号无关的失真约束下，二次高斯率失真函数 $ R^{\bot}(D) $ 可通过无限维极限下的成形抖动格栅量化实现。关键结果表明，具有记忆无熵编码的因果反馈量化可实现 $ R^{\bot}(D) $，由于量化器空间填充损失导致的有限维率失真损失最多为 0.254 bit/维。

ABSTRACT

We prove achievability of the recently characterized quadratic Gaussian rate-distortion function (RDF) subject to the constraint that the distortion is uncorrelated to the source. This result is based on shaped dithered lattice quantization in the limit as the lattice dimension tends to infinity and holds for all positive distortions. It turns out that this uncorrelated distortion RDF can be realized causally. This feature, which stands in contrast to Shannon's RDF, is illustrated by causal transform coding. Moreover, we prove that by using feedback noise shaping the uncorrelated distortion RDF can be achieved causally and with memoryless entropy coding. Whilst achievability relies upon infinite dimensional quantizers, we prove that the rate loss incurred in the finite dimensional case can be upper-bounded by the space filling loss of the quantizer and, thus, is at most 0.254 bit/dimension.

研究动机与目标

• 确定当端到端失真必须与源信号无关时的极限率失真性能。
• 弥补香农经典率失真理论中的空白，后者假设失真可与源信号相关。
• 在高斯源下，建立新的可实现率失真函数 $ R^{\bot}(D) $，以满足失真无关约束。
• 证明可通过反馈量化与记忆无熵编码，因果地实现该新失真约束。
• 量化使用有限维抖动格栅量化器而非理想无限维版本时所引入的率失真损失。

提出的方法

• 作者通过功率谱密度（PSD）分解推导出 $ R^{\bot}(D) $ 的参数形式，引入参数 $ \alpha $ 以控制失真谱密度 $ S_Z(\omega) $。
• 通过无限维格栅维度的渐近极限下成形抖动格栅量化证明其可实现性，确保量化噪声近似为高斯独立同分布序列。
• 构建了一种因果反馈量化架构，使重建误差与源信号无关，从而满足 $ R^{\bot}(D) $ 的约束条件。
• 采用反馈噪声整形技术，将失真谱密度整形为与所需 $ S_Z(\omega) $ 一致，从而实现 $ R^{\bot}(D) $ 的因果实现。
• 对量化输出应用记忆无熵编码，并证明输入与输出之间的标量互信息等于 $ R^{\bot}(D) $。
• 利用格栅的空间填充损失对有限维量化引入的率失真损失进行上界估计，得出紧致的上界 0.254 bit/维。

实验结果

研究问题

• RQ1 当失真必须与源信号无关时，二次高斯率失真函数是否仍可实现？
• RQ2 鉴于香农经典率失真函数是非因果的，是否可能通过因果方式实现 $ R^{\bot}(D) $？
• RQ3 使用有限维抖动格栅量化器而非理想无限维版本时，率失真损失是多少？
• RQ4 反馈量化结合记忆无熵编码是否可实现 $ R^{\bot}(D) $，且率失真损失有界？
• RQ5 最优解中，失真谱密度 $ S_Z(\omega) $ 与源信号谱密度 $ S_X(\omega) $ 及参数 $ \alpha $ 之间有何关系？

主要发现

• 在无限维极限下，通过成形抖动格栅量化可实现源无关失真率失真函数 $ R^{\bot}(D) $。
• 最优失真谱密度为 $ S_Z(\omega) = \frac{1}{2} \left( \sqrt{S_X(\omega) + \alpha} - \sqrt{S_X(\omega)} \right) \sqrt{S_X(\omega)} $，该表达式可确保失真与源信号无关。
• 具有噪声整形的因果反馈量化可实现 $ R^{\bot}(D) $，这是香农经典率失真框架所无法实现的特性。
• 当与反馈量化和抖动结合时，记忆无熵编码足以实现 $ R^{\bot}(D) $。
• 有限维抖动格栅量化引入的率失真损失上界为 0.254 bit/维，对应于格栅量化器的空间填充损失。
• 量化器输入与输出之间的标量互信息等于 $ R^{\bot}(D) $，从而在给定约束下确认了其可实现性。