[論文レビュー] Variable-length compression allowing errors (extended).

Victoria Kostina, Yury Polyanskiy+1 more|arXiv (Cornell University)|Feb 4, 2014

Wireless Communication Security Techniques参考文献 19被引用数 5

ひとこと要約

本稿では、非零の誤り確率 𝜀 を有する可変長の無損失および損失あり圧縮について、非漸近的バウンドを確立し、漸近的レート限界が (1−𝜀) の要因で低下し、ソースの分散が増加することによって下からの近づき方を示している。すべてのブロック長（小さなものを除く）に対して有効な、非常に精度の高いガウス近似が導出された。

ABSTRACT

This paper studies the fundamental limits of the minimum average length of lossless and lossy variable-length compression, allowing a nonzero error probability $\epsilon$, for lossless compression. We give non-asymptotic bounds on the minimum average length in terms of Erokhin's rate-distortion function and we use those bounds to obtain a Gaussian approximation on the speed of approach to the limit which is quite accurate for all but small blocklengths: $$(1 - \epsilon) k H(\mathsf S) - \sqrt{\frac{k V(\mathsf S)}{2 \pi} } e^{- \frac { \left(Q^{-1}(\epsilon) ight)^2} 2 }$$ where $Q^{-1}(\cdot)$ is the functional inverse of the $Q$-function and $V(\mathsf S)$ is the source dispersion. A nonzero error probability thus not only reduces the asymptotically achievable rate by a factor of $1 - \epsilon$, but this asymptotic limit is approached from below, i.e. a larger source dispersion and shorter blocklengths are beneficial. Variable-length lossy compression under excess distortion constraint is shown to exhibit similar properties.

研究の動機と目的

• 非零の誤り確率 𝜀 の下での可変長圧縮の根本的限界を分析すること。
• 無損失および損失あり圧縮における最小平均コード長の非漸近的バウンドを導出すること。
• 誤り確率が漸近的レート限界への収束速度に与える影響を定量化すること。
• 過剰歪み制約下での可変長損失あり圧縮への分析を拡張すること。

提案手法

• Erokhinのレート・ディストーション関数を用いて、誤り確率 𝜀 を有する可変長圧縮における最小平均コード長のバウンドを設定する。
• 逆 Q 関数およびソース分散 V(S) を組み込んだコード長のガウス近似を導出する。
• 漸近的レート限界への収束速度をモデル化し、それが下からの近づき方であることを示す。
• この手法は無損失および損失あり圧縮に適用可能であり、過剰歪み制約下でも同様の挙動が観察される。
• 主要な式は (1−𝜀)kH(S) − √(kV(S)/(2π)) × exp(−(Q⁻¹(𝜀))²/2) であり、これが最小平均コード長を近似する。
• このアプローチにより、𝜀 > 0 の場合に短いブロック長および高い分散が収束を改善することが明らかになった。

実験結果

リサーチクエスチョン

• RQ1 非零の誤り確率 𝜀 は、可変長圧縮における最小平均コード長にどのように影響するか？
• RQ2 𝜀 > 0 の場合、漸近的レート限界への収束速度はどのようになるか？ゼロ誤りの場合とどのように異なるか？
• RQ3 ガウス近似は、誤り確率を有する可変長圧縮の非漸近的挙動を正確に記述できるか？
• RQ4 ソース分散 V(S) は、非零の誤り確率下での収束速度にどのように影響するか？
• RQ5 過剰歪み制約下での可変長損失あり圧縮に対しても、同様の性質が成り立つか？

主な発見

• 非零の誤り確率を許容する場合、可変長圧縮の漸近的レート限界は (1−𝜀) の要因で低下する。
• 漸近的限界は下からの近づき方であり、つまり、短いブロック長および高いソース分散が非零 𝜀 の下で有益である。
• ガウス近似 (1−𝜀)kH(S) − √(kV(S)/(2π)) × exp(−(Q⁻¹(𝜀))²/2) は、小さなブロック長を除くすべてのブロック長で最小平均コード長を正確に予測する。
• 近似式により、漸近的限界への収束速度がブロック長 k およびソース分散 V(S) の両方に依存することが示された。
• 過剰歪み制約下での可変長損失あり圧縮は、同様の挙動を示し、有効レートの低下および下からの収束が見られる。
• 逆 Q 関数 Q⁻¹(𝜀) は、誤り確率とコード長のトレードオフを定量化し、𝜀 に対して強い指数的依存性を示している。