[論文レビュー] Lossless Data Compression at Finite Blocklengths

Ioannis Kontoyiannis, Sergio Verdú|arXiv (Cornell University)|Dec 11, 2012

Algorithms and Data Compression参考文献 28被引用数 4

ひとこと要約

本稿は、有限ブロック長における固定長から可変長への無損失圧縮の正確な非漸近的バウンドを確立し、最適な符号長分布とソースの情報スペクトルの間の関係を提示する。特に、マルコフ源および混合源に対して、エントロピー率に加え、バーレンツロピー率とソース分散という2つの主要パラメータが、有限ブロック長における根本的限界を密接に近似することを示す。さらに、マルコフ過程に対して明示的なガウス近似が導出されている。

ABSTRACT

This paper provides an extensive study of the behavior of the best achievable rate (and other related fundamental limits) in variable-length lossless compression. In the non-asymptotic regime, the fundamental limits of fixed-to-variable lossless compression with and without prefix constraints are shown to be tightly coupled. Several precise, quantitative bounds are derived, connecting the distribution of the optimal codelengths to the source information spectrum, and an exact analysis of the best achievable rate for arbitrary sources is given. Fine asymptotic results are proved for arbitrary (not necessarily prefix) compressors on general mixing sources. Non-asymptotic, explicit Gaussian approximation bounds are established for the best achievable rate on Markov sources. The source dispersion and the source varentropy rate are defined and characterized. Together with the entropy rate, the varentropy rate serves to tightly approximate the fundamental non-asymptotic limits of fixed-to-variable compression for all but very small blocklengths.

研究の動機と目的

• 一般のソースに対して、有限ブロック長における固定長から可変長への無損失圧縮の根本的非漸近的限界を特徴づけること。
• 特にマルコフ源および混合源に対して、最適な符号長分布とソース情報スペクトルの間の密接な関係を確立すること。
• 有限ブロック長圧縮性能を近似するための重要なパラメータとして、ソース分散およびバーレンツロピー率を定義し、それらを特徴づけること。
• マルコフ源における最良達成可能レートの明示的非漸近的ガウス近似バウンドを導出すること。
• 前綴付きおよび非前綴付き圧縮器の解析を統一し、有限ブロック長領域においてそれらの根本的限界が密接に結びついていることを示すこと。

提案手法

• ソース系列を確率の降順に辞書式順序で符号語に割り当てる最適圧縮器 ${\mathsf{f}}_n^*$ を使用し、単射性と最小期待符号長を保証する。
• 性能指標として $R^*(n,\epsilon)$, $\epsilon^*(n,k)$, $n^*(R,\epsilon)$, および $\bar{R}(n)$ を定義し、積分および分位数関係を通じてそれらが数学的に同等であることを示した。
• 符号長とソース確率を結ぶ中心的対象として、情報スペクトル $\imath_{X^n}(X^n) = \log_2 \frac{1}{P_{X^n}(X^n)}$ を導入した。
• 最適符号長の期待値として $\bar{R}(n)$ の正確な表現を導出し、$\bar{R}(n) = \int_0^1 R^*(n,x)\,dx - \frac{1}{n}$ を通じて過剰レート確率の和と関連づけた。
• 定理23により、最適符号長と情報スペクトルの間で2次モーメントが同等であることを確立し、第二モーメントが発散する場合には $\lim_{n\to\infty} \mathbb{E}[\ell^2({\mathsf{f}}_n^*)]/\mathbb{E}[\imath^2_{X^n}] = 1$ が成り立つことを示した。
• マルコフ源に対しては、最良達成可能レートの明示的ガウス近似バウンドを導出し、バーレンツロピー率と分散率が2次パラメータとして機能することを示した。

実験結果

リサーチクエスチョン

• RQ1 有限ブロック長における固定長から可変長への無損失圧縮の根本的限界は、特にレート、過剰レート確率、およびブロック長要件に関してどのように振る舞うか？
• RQ2 一般のソースに対して、最適符号長分布とソース情報スペクトルの正確な関係は何か？
• RQ3 マルコフ源および混合源に対して、バーレンツロピー率とソース分散をどのように定義し、特徴づけることができるか？
• RQ4 エントロピー率、バーレンツロピー率、および分散率が、非漸近的圧縮限界をどれほど密接に近似できるか？
• RQ5 最適符号長と情報スペクトルの間の正確な2次モーメント関係は何か？ そして、それらはどのようにガウス近似を可能にするか？

主な発見

• 根本的限界 $R^*(n,\epsilon)$, $\epsilon^*(n,k)$, および $n^*(R,\epsilon)$ は数学的に同等であり、$\bar{R}(n) = \int_0^1 R^*(n,x)\,dx - \frac{1}{n}$ は最小平均レートの正確な表現を提供する。
• マルコフ源に対しては、最良達成可能レートが、エントロピー率を平均とするガウス分布で密接に近似可能であり、分散はソース分散とバーレンツロピー率によって決定される。
• バーレンツロピー率は $\lim_{n\to\infty} \frac{1}{n} \mathsf{Var}(\imath_{X^n}(X^n))$ として定義され、最適符号長分布の2次的挙動を特徴づける。
• ソース分散は $\lim_{n\to\infty} \frac{1}{n} \mathsf{Var}(\imath_{X^n}(X^n))$ として定義され、エントロピー率と併せて、有限ブロック長圧縮限界のタイトな2次近似を提供する。
• 確率 $P(X=\bullet) > P(X=\circ)$ を持つメモリレスソースの具体的な例において、$M \to \infty$ のとき、最適符号長の分散は2と2.25の間を振動し、分散の $\limsup$ と $\liminf$ が収束しないことが示された。
• 2次モーメント比 $\mathbb{E}[\ell^2({\mathsf{f}}_n^*)]/\mathbb{E}[\imath^2_{X^n}]$ は、情報スペクトルの2次モーメントが発散する限り $n \to \infty$ のとき1に収束し、強い漸近的同等性が確立された。