[論文レビュー] Gaussian Rate-Distortion via Sparse Regression over Compact Dictionaries

Ramji Venkataramanan, Antony Joseph+1 more|arXiv (Cornell University)|Feb 3, 2012

Sparse and Compressive Sensing Techniques被引用数 1

ひとこと要約

本稿では、i.i.d. 1次元ガウス源の2乗誤差歪みの下での破損圧縮のためのスパース回帰符号——コンact設計行列の列の部分集合の線形結合——を提案する。高次元回帰の原則を用いることで、しきい値未満のすべての歪みにおいてシャノンのレート歪み関数を最適な誤差指数で達成し、分散が低いエルゴディック源に対してもロバストである。

ABSTRACT

We study a new class of codes for lossy compression with the squared-error distortion criterion, designed using the statistical framework of high-dimensional linear regression. Codewords are linear combinations of subsets of columns of a design matrix. Called a Sparse Superposition or Sparse Regression codebook, this structure is motivated by an analogous construction proposed recently by Barron and Joseph for communication over an AWGN channel. For i.i.d Gaussian sources and minimum-distance encoding, we show that such a code can attain the Shannon rate-distortion function with the optimal error exponent, for all distortions below a specified value. It is also shown that sparse regression codes are robust in the following sense: a codebook designed to compress an i.i.d Gaussian source of variance $\sigma^2$ with (squared-error) distortion $D$ can compress any ergodic source of variance less than $\sigma^2$ to within distortion $D$. Thus the sparse regression ensemble retains many of the good covering properties of the i.i.d random Gaussian ensemble, while having having a compact representation in terms of a matrix whose size is a low-order polynomial in the block-length.

研究の動機と目的

• コンパクトな表現と強い性能保証を持つ新しい損失圧縮符号のクラスを開発すること。
• 高次元線形回帰の統計枠組みを拡張し、損失源符号化のためのコードブックを設計すること。
• i.i.d. ガウス源において、シャノンのレート歪み関数を最適な誤差指数で達成すること。
• コードブックが分散が設計分散以下のエルゴディック源のクラス全体にわたってロバストであることを保証すること。

提案手法

• 固定されたコンパクトな設計行列の列のスパース線形結合としてコードブックを構築する。
• 最小距離符号化を用いて、ソースベクトルをコードブック内の最も近いコドワードにマッピングする。
• コードブックの性能を分析するために、高次元回帰の統計枠組みを活用する。
• 辞書行列のサイズがブロック長の低次の多項式に比例するように設計することで、コンパクトな表現を実現する。
• ランダム行列理論と高次元統計の理論的道具を用いて性能の上限を導出する。
• 完全なランダムコードブックが持つ良好なカバー特性を、構造化された辞書であっても維持する。

実験結果

リサーチクエスチョン

• RQ1 スパース回帰コードブックは、i.i.d. ガウス源において、シャノンのレート歪み関数を最適な誤差指数で達成できるか？
• RQ2 スパース回帰コードのカバー特性と誤差指数は、古典的なランダムガウスコードブックと比べてどのように異なるか？
• RQ3 スパース回帰コードは、設計分散未満の分散を持つ源分布に対してどの程度ロバストか？
• RQ4 コンパクトな辞書表現は、完全なランダムコードブックが持つ良好なカバー特性を保持できるか？
• RQ5 レート歪みと誤差指数の観点から、コードブックのサイズと性能のトレードオフは何か？

主な発見

• スパース回帰符号は、指定されたしきい値未満のすべての歪みにおいて、シャノンのレート歪み関数を最適な誤差指数で達成する。
• 符号はロバストである：分散 $\sigma^2$ のi.i.d. ガウス源用に設計されたコードブックは、分散 $\leq \sigma^2$ の任意のエルゴディック源を、歪み $D$ 以内に圧縮できる。
• コードブックはブロック長の多項式に比例するサイズの行列として表現され、完全なランダムコードブックと比較してコンパクトなストレージを実現する。
• 構造化された辞書であっても、i.i.d. ガウスランダムコードブックが持つ好ましいカバー特性を保持する。
• 性能は高次元回帰ツールを用いて分析され、レート歪みと誤差指数に関する理論的保証が確立される。
• 辞書サイズの指数的増加を必要とせず、実用的に実現可能である。