[論文レビュー] The Dispersion of Lossy Source Coding

Amir Ingber, Yuval Kochman|arXiv (Cornell University)|Feb 13, 2011

Wireless Communication Security Techniques参考文献 7被引用数 16

ひとこと要約

この論文は、過剰歪み確率の目標を達成するために必要な最小レートの有限ブロック長における挙動を確立する。過剰歪み分散に基づく近似を導出し、レート歪み関数に対するレートリダンドンシーのスケーリングは $ \sqrt{V(\mathbf{p},D)/n} \cdot Q^{-1}(\varepsilon) $ であることを示す。ここで $ V(\mathbf{p},D) $ は過剰歪み分散であり、チャネル符号化の分散フレームワークをソース符号化に拡張したものである。

ABSTRACT

In this work we investigate the behavior of the minimal rate needed in order to guarantee a given probability that the distortion exceeds a prescribed threshold, at some fixed finite quantization block length. We show that the excess coding rate above the rate-distortion function is inversely proportional (to the first order) to the square root of the block length. We give an explicit expression for the proportion constant, which is given by the inverse Q-function of the allowed excess distortion probability, times the square root of a constant, termed the excess distortion dispersion. This result is the dual of a corresponding channel coding result, where the dispersion above is the dual of the channel dispersion. The work treats discrete memoryless sources, as well as the quadratic-Gaussian case.

研究の動機と目的

• 有限ブロック長における所定の過剰歪み確率を達成するために必要な最小符号化レートを特徴づける。
• チャネル符号化の分散フレームワークを、過剰歪み制約付きのソース符号化という双対問題に拡張する。
• ブロック長と歪み確率の観点から、レート歪み関数に対するレートリダンドンシーの明示的表現を導出する。
• 滑らかさの条件の下で、離散メモリレスソースおよび2次歪みの下でのガウス分布に対して結果を確立する。

提案手法

• 中心極限定理とBerry-Esseenの不等式を用いて、過剰歪み確率の正規近似を導出する。
• 過剰歪み分散 $ V(\mathbf{p},D) $ を、ソース分布に関してレート歪み関数の微分の分散として定義する。
• 真のソース分布の周りでのレート歪み関数のテイラー展開を用いて、レートリダンドンシーとソース系列の経験的タイプを関連付ける。
• 大偏差および濃度不等式を用いて、テイラー展開の高次項をバインドする。
• 確率チェインと $ Q $-関数によるガウス近似を用いて、レートリダンドンシーの上界および下界を確立する。
• 関数 $ Q^{-1} $ の滑らかさを用いて、レートリダンドンシーが $ \sqrt{V(\mathbf{p},D)/n} \cdot Q^{-1}(\varepsilon) $ と漸近的に同値であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 固定された過剰歪み確率が要求される場合、最小符号化レートはブロック長とともにどのようにスケーリングするか？
• RQ2 過剰歪み制約付きのソース符号化における、レート歪み関数上の有限ブロック長補正項は何か？
• RQ3 過剰歪み分散 $ V(\mathbf{p},D) $ は、ソースおよび歪み測度の統計的性質とどのように関係するか？
• RQ4 チャネル符号化の分散フレームワークを、過剰歪み制約付きのソース符号化に双対的に適用できるか？

主な発見

• レート歪み関数上の過剰符号化レートは、$ \sqrt{V(\mathbf{p},D)/n} \cdot Q^{-1}(\varepsilon) $ に漸近的に比例する。ここで $ V(\mathbf{p},D) $ は過剰歪み分散である。
• 滑らかさの条件の下で、離散メモリレスソースおよび2次歪みの下でのガウスソースに対してこの結果は成り立つ。
• 分散 $ V(\mathbf{p},D) $ は、ソース分布に関してレート歪み関数の微分の分散として定義される。
• レートリダンドンシーは、レート歪み関数のテイラー展開および経験的タイプの濃度バインドを用いて導出される。
• Berry-Esseen定理とi.i.d.確率変数の和のガウス近似を用いて、漸近的近似が検証される。
• この結果は、マートンの過剰歪み指数の有限ブロック長における精緻化を提供し、漸近的および非漸近的解析の間のギャップを埋める。