[論文レビュー] Refined Asymptotics for Rate-Distortion using Gaussian Codebooks for Arbitrary Sources

Lin Zhou, Vincent Y. F. Tan+1 more|arXiv (Cornell University)|Aug 16, 2017

Wireless Communication Security Techniques参考文献 16被引用数 6

ひとこと要約

本稿は、任意の定常無記憶ソースにおけるガウス型コードブックを用いた損失ありソース符号化について、第二階層、中程度、大偏差の精密な漸近的性質を確立する。i.i.d. ガウス型コードブックと球面コードブックは、分散および中程度偏差定数が同一であるが、i.i.d. コードブックは過剰歪み指数が厳密に大きく、レートがレート歪み関数を超える場合に優れた誤差減衰性能を示すことが示された。

ABSTRACT

The rate-distortion saddle-point problem considered by Lapidoth (1997) consists in finding the minimum rate to compress an arbitrary ergodic source when one is constrained to use a random Gaussian codebook and minimum (Euclidean) distance encoding is employed. We extend Lapidoth's analysis in several directions in this paper. Firstly, we consider refined asymptotics. In particular, when the source is stationary and memoryless, we establish the second-order, moderate, and large deviation asymptotics of the problem. Secondly, by "random Gaussian codebook", Lapidoth referred to a collection of random codewords, each of which is drawn independently and uniformly from the surface of an $n$-dimensional sphere. To be more precise, we term this as a spherical codebook. We also consider i.i.d.\ Gaussian codebooks in which each random codeword is drawn independently from a product Gaussian distribution. We derive the second-order, moderate, and large deviation asymptotics when i.i.d.\ Gaussian codebooks are employed. In contrast to the recent work on the channel coding counterpart by Scarlett, Tan and Durisi (2017), the dispersions for spherical and i.i.d.\ Gaussian codebooks are identical. The ensemble excess-distortion exponents for both spherical and i.i.d.\ Gaussian codebooks are established for all rates. Furthermore, we show that the i.i.d.\ Gaussian codebook has a strictly larger excess-distortion exponent than its spherical counterpart for any rate greater than the ensemble rate-distortion function derived by Lapidoth.

研究の動機と目的

• ラピドゥのレート歪みサドルポイント問題を拡張し、第一階層のレート歪み関数を超える精密な漸近的性質を分析すること。
• 第二階層、中程度、大偏差の挙動に関して、i.i.d. ガウス型コードブックと球面コードブックの性能を比較すること。
• アンサンブル過剰歪み指数を確立し、どのコードブックタイプが根本的限界を超えるレートにおいて優れた誤差減衰を達成するかを特定すること。
• 分散および偏差の領域を統一的に分析し、ガウス型無記憶ソースに対する既知の結果を特別な場合として回復すること。

提案手法

• 有限ブロック長におけるレート歪み関数からのオフセットを分析することで第二階層漸近的性質を導出し、過剰歪み確率を性能指標として用いる。
• 大偏差理論を適用して、コードレートがレート歪み関数を厳密に上回る場合の過剰歪み確率の指数的減衰率を特徴付ける。
• 変分的アプローチを用いてアンサンブル過剰歪み指数を計算し、モーメント生成関数およびレジェンドル＝フェンヒェル変換を活用する。
• 最小距離符号化下での両者のレート歪み性能を分析することで、i.i.d. ガウス型コードブックと球面コードブックを比較する。
• 両コードブックタイプの分散および中程度偏差定数が同一であることを確立するが、生成メカニズムは異なる。
• すべてのレートがアンサンブルレート歪み関数を超える範囲で、i.i.d. ガウス型コードブックが球面コードブックよりも厳密に大きな過剰歪み指数を達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. ガウス型コードブックと球面コードブックは、任意の無記憶ソースにおける損失ありソース符号化で第二階層漸近的性能が同一か？
• RQ2 任意のソースを用いたガウス型コードブックにおける過剰歪み確率の中央極限定理的挙動は何か？
• RQ3 レートがレート歪み関数を超える場合、i.i.d. ガウス型コードブックと球面コードブックの過剰歪み指数はどのように比較されるか？
• RQ4 既知のガウス型無記憶ソースにおける分散および過剰歪み指数の結果は、提案された枠組みから回復可能か？
• RQ5 なぜi.i.d. および球面ガウス型コードブックは分散は同一だが過剰歪み指数が異なるのか？

主な発見

• i.i.d. ガウス型コードブックと球面コードブックの第二階層漸近的性質（分散）は同一であり、ソースの2次および4次モーメントにのみ依存し、簡単な式で表される。
• 両コードブックタイプの中央極限定理的定数は同一であり、その場合にガウス型無記憶ソースに特化すると既知の結果に簡約される。
• アンサンブル過剰歪み指数は、i.i.d. ガウス型コードブックが球面コードブックよりも、すべてのレートがアンサンブルレート歪み関数を超える範囲で厳密に大きい。
• ガウス型無記憶ソースの場合、i.i.d. ガウス型コードブックを用いて導出された過剰歪み指数は、IharaとKubo（1997）の既知の結果と一致し、フレームワークの妥当性が裏付けられる。
• 両コードブックタイプの分散は、KostinaとVerdú（2012）が確立したガウス型無記憶ソースの損失あり圧縮の分散と同一である。
• 分散が同一であるにもかかわらず過剰歪み指数に差が生じるため、i.i.d. コードブックは大偏差領域においてより優れた尾部挙動を示す。