[论文解读] Gaussian Rate-Distortion via Sparse Regression over Compact Dictionaries

Ramji Venkataramanan, Antony Joseph+1 more|arXiv (Cornell University)|Feb 3, 2012

Sparse and Compressive Sensing Techniques被引用 1

一句话总结

本文提出稀疏回归码——从紧凑设计矩阵的列子集的线性组合——用于在平方误差失真下对独立同分布的高斯源进行有损压缩。利用高维回归原理，该方法在所有低于阈值的失真下实现了香农率失真函数，并具有最优误差指数，同时对方差较低的遍历源保持鲁棒性。

ABSTRACT

We study a new class of codes for lossy compression with the squared-error distortion criterion, designed using the statistical framework of high-dimensional linear regression. Codewords are linear combinations of subsets of columns of a design matrix. Called a Sparse Superposition or Sparse Regression codebook, this structure is motivated by an analogous construction proposed recently by Barron and Joseph for communication over an AWGN channel. For i.i.d Gaussian sources and minimum-distance encoding, we show that such a code can attain the Shannon rate-distortion function with the optimal error exponent, for all distortions below a specified value. It is also shown that sparse regression codes are robust in the following sense: a codebook designed to compress an i.i.d Gaussian source of variance $\sigma^2$ with (squared-error) distortion $D$ can compress any ergodic source of variance less than $\sigma^2$ to within distortion $D$. Thus the sparse regression ensemble retains many of the good covering properties of the i.i.d random Gaussian ensemble, while having having a compact representation in terms of a matrix whose size is a low-order polynomial in the block-length.

研究动机与目标

• 开发一类具有紧凑表示和强性能保证的新有损压缩码。
• 将高维线性回归的统计框架扩展至设计有损信源编码的码书。
• 为独立同分布的高斯源实现香农率失真函数，并具有最优误差指数。
• 确保码书在方差小于或等于设计方差的遍历源类中保持鲁棒性。

提出的方法

• 将码书构建为固定紧凑设计矩阵列的稀疏线性组合。
• 使用最小距离译码将源向量映射到码书中最接近的码字。
• 利用高维线性回归的统计框架分析码书性能。
• 设计字典矩阵，使其大小随块长呈低阶多项式增长，从而实现紧凑表示。
• 应用随机矩阵理论和高维统计的理论工具推导性能界。
• 确保码书保持与独立同分布高斯随机码类似的良好覆盖性质，但存储复杂度更低。

实验结果

研究问题

• RQ1 稀疏回归码书能否在独立同分布高斯源下实现香农率失真函数，并具有最优误差指数？
• RQ2 在覆盖性和误差指数方面，稀疏回归码与经典随机高斯码书相比表现如何？
• RQ3 稀疏回归码对源分布的鲁棒性如何，特别是当源方差小于设计方差时？
• RQ4 紧凑字典表示能否保留完整随机码书的良好覆盖性质？
• RQ5 在码书大小与性能之间，率失真和误差指数的权衡关系如何？

主要发现

• 稀疏回归码在所有低于指定阈值的失真下，实现了香农率失真函数，并具有最优误差指数。
• 该码具有鲁棒性：为方差为 $\sigma^2$ 的独立同分布高斯源设计的码书，可将任意方差 $\leq \sigma^2$ 的遍历源压缩至失真 $D$ 以内。
• 码书由大小为块长多项式级别的矩阵表示，相比完整随机码书，实现了紧凑存储。
• 尽管使用了结构化字典，该构造仍保留了独立同分布高斯随机码书的有利覆盖性质。
• 性能通过高维回归工具进行分析，建立了率失真和误差指数的理论保证。
• 该方法在无需字典大小指数增长的前提下实现了最优权衡，使其具有实际可行性。