[논문 리뷰] Lossless Data Compression at Finite Blocklengths

Ioannis Kontoyiannis, Sergio Verdú|arXiv (Cornell University)|2012. 12. 11.

Algorithms and Data Compression참고 문헌 28인용 수 4

한 줄 요약

이 논문은 유한 블록길이에서 고정-변동 비손실 압축의 정확한 비점근적 경계를 설정하며, 최적의 부호길이 분포를 소스 정보 스펙트럼과 연결한다. 소스 분산과 varentropy 비율을 핵심 매개변수로 도입하여, 엔트로피 비율과 함께 마르코프 및 혼합 소스에 대해 근본적인 한계를 날카럽게 근사한다. 마르코프 과정에 대해 명시적인 가우시안 근사식을 유도한다.

ABSTRACT

This paper provides an extensive study of the behavior of the best achievable rate (and other related fundamental limits) in variable-length lossless compression. In the non-asymptotic regime, the fundamental limits of fixed-to-variable lossless compression with and without prefix constraints are shown to be tightly coupled. Several precise, quantitative bounds are derived, connecting the distribution of the optimal codelengths to the source information spectrum, and an exact analysis of the best achievable rate for arbitrary sources is given. Fine asymptotic results are proved for arbitrary (not necessarily prefix) compressors on general mixing sources. Non-asymptotic, explicit Gaussian approximation bounds are established for the best achievable rate on Markov sources. The source dispersion and the source varentropy rate are defined and characterized. Together with the entropy rate, the varentropy rate serves to tightly approximate the fundamental non-asymptotic limits of fixed-to-variable compression for all but very small blocklengths.

연구 동기 및 목표

• 일반 소스에 대해 유한 블록길이에서 고정-변동 비손실 압축의 근본적인 비점근적 한계를 특징짓는 것.
• 특히 마르코프 및 혼합 소스에 대해 최적의 부호길이 분포와 소스 정보 스펙트럼 사이의 밀접한 연결 고리를 확립하는 것.
• 유한 블록길이 압축 성능을 근사하기 위한 핵심 매개변수로 소스 분산과 varentropy 비율을 정의하고 특징짓는 것.
• 마르코프 소스에 대해 최고로 달성 가능한 속도에 대한 명시적 비점근적 가우시안 근사 경계를 유도하는 것.
• 프리픽스 및 비프리픽스 압축기의 분석을 통합하여, 유한 블록길이 영역에서 이들의 근본적 한계가 밀접하게 연결되어 있음을 보여주는 것.

제안 방법

• 소스 시퀀스에 대해 확률 내림차순으로 사전 순서로 부호어를 할당하는 최적의 압축기 ${\mathsf{f}}_n^*$를 사용하여 단사성과 최소 기대 부호길이 보장.
• 주요 성능 지표인 $R^*(n,\epsilon)$, $\epsilon^*(n,k)$, $n^*(R,\epsilon)$, $\bar{R}(n)$ 를 정의하며, 적분 및 분위수 관계를 통해 이들이 수학적으로 동치임을 보임.
• 부호길이와 소스 확률를 연결하는 중심 대상으로 정보 스펙트럼 $\imath_{X^n}(X^n) = \log_2 \frac{1}{P_{X^n}(X^n)}$ 를 정의.
• 최적 부호길이의 기대값으로 $\bar{R}(n)$ 의 정확한 표현을 유도하며, $\bar{R}(n) = \int_0^1 R^*(n,x)\,dx - \frac{1}{n}$ 을 통해 초과 속도 확률의 합과 연관.
• 제2모멘트 동치성을 제23정리로 확립하여, 제2모멘트가 발산할 경우 $\lim_{n\to\infty} \mathbb{E}[\ell^2({\mathsf{f}}_n^*)]/\mathbb{E}[\imath^2_{X^n}] = 1$ 이 성립함을 보임.
• 마르코프 소스에 대해 최고로 달성 가능한 속도에 대해 명시적 가우시안 근사 경계를 유도하며, varentropy 비율과 분산 비율이 제2차 매개변수로 기능함.

실험 결과

연구 질문

• RQ1 유한 블록길이에서 고정-변동 비손실 압축의 근본적 한계는 속도, 초과 속도 확률, 블록길이 요구사항 측면에서 어떻게 행동하는가?
• RQ2 일반 소스에 대해 최적의 부호길이 분포와 소스 정보 스펙트럼 사이의 정확한 관계는 무엇인가?
• RQ3 마르코프 및 혼합 소스에 대해 varentropy 비율과 소스 분산을 어떻게 정의하고 특징지을 수 있는가?
• RQ4 엔트로피 비율, varentropy 비율, 분산 비율이 함께 유한 블록길이 압축 한계를 얼마나 잘 근사하는가?
• RQ5 최적 부호길이와 정보 스펙트럼 간의 정확한 제2모멘트 관계는 무엇이며, 이는 어떻게 가우시안 근사를 가능하게 하는가?

주요 결과

• 근본적 한계 $R^*(n,\epsilon)$, $\epsilon^*(n,k)$, $n^*(R,\epsilon)$ 는 수학적으로 동치이며, $\bar{R}(n) = \int_0^1 R^*(n,x)\,dx - \frac{1}{n}$ 은 최소 평균 속도에 대한 정확한 표현을 제공한다.
• 마르코프 소스에 대해 최고로 달성 가능한 속도는 엔트로피 비율을 평균으로, 소스 분산과 varentropy 비율이 결정하는 분산을 가진 가우시안 분포로 날카롭게 근사된다.
• varentropy 비율은 $\lim_{n\to\infty} \frac{1}{n} \mathsf{Var}(\imath_{X^n}(X^n))$ 으로 정의되며, 최적 부호길이 분포의 제2차 행동을 특징짓는다.
• 소스 분산은 $\lim_{n\to\infty} \frac{1}{n} \mathsf{Var}(\imath_{X^n}(X^n))$ 으로 정의되며, 엔트로피 비율과 함께 유한 블록길이 압축 한계의 날카운 제2차 근사 제공.
• 메모리 없는 소스의 구체적 예시에서 $P(X=\bullet) > P(X=\circ)$ 인 경우, $M \to \infty$ 일 때 최적 부호길이 분산이 2와 2.25 사이를 진동함을 보여, 분산의 $\limsup$ 와 $\liminf$ 가 수렴하지 않음을 시사.
• 제2모멘트 비율 $\mathbb{E}[\ell^2({\mathsf{f}}_n^*)]/\mathbb{E}[\imath^2_{X^n}]$ 은 제2모멘트가 발산할 경우 항상 $n \to \infty$ 일 때 1로 수렴하며, 강한 점근적 동치성을 확립한다.