[논문 리뷰] Source Coding, Large Deviations, and Approximate Pattern Matching

Amir Dembo, Ioannis Kontoyiannis|ArXiv.org|2001. 03. 02.

Algorithms and Data Compression참고 문헌 79인용 수 6

한 줄 요약

이 논문은 대칭적 등장 확률성질(AEP)의 손실 압축 버전을 큰 편차 이론을 사용하여 개발하여 손실 압축 이론과 패턴 매칭 알고리즘을 통합하고 일반화한다. 이는 i.i.d. 및 정상 과정에 대해 일반화된 AEP를 수립하고, 제2차 코드화 정리들을 증명하며, 대기 시간, 매칭 길이 및 구 덮개 지수를 특성화하여 레프엘-지브 유형의 손실 압축 기법과 정확한 渐近적 행동을 갖는 불일치 코드북 분석을 위한 엄밀한 기초를 제공한다.

ABSTRACT

We present a development of parts of rate-distortion theory and pattern- matching algorithms for lossy data compression, centered around a lossy version of the Asymptotic Equipartition Property (AEP). This treatment closely parallels the corresponding development in lossless compression, a point of view that was advanced in an important paper of Wyner and Ziv in 1989. In the lossless case we review how the AEP underlies the analysis of the Lempel-Ziv algorithm by viewing it as a random code and reducing it to the idealized Shannon code. This also provides information about the redundancy of the Lempel-Ziv algorithm and about the asymptotic behavior of several relevant quantities. In the lossy case we give various versions of the statement of the generalized AEP and we outline the general methodology of its proof via large deviations. Its relationship with Barron's generalized AEP is also discussed. The lossy AEP is applied to: (i) prove strengthened versions of Shannon's source coding theorem and universal coding theorems; (ii) characterize the performance of mismatched codebooks; (iii) analyze the performance of pattern- matching algorithms for lossy compression; (iv) determine the first order asymptotics of waiting times (with distortion) between stationary processes; (v) characterize the best achievable rate of weighted codebooks as an optimal sphere-covering exponent. We then present a refinement to the lossy AEP and use it to: (i) prove second order coding theorems; (ii) characterize which sources are easier to compress; (iii) determine the second order asymptotics of waiting times; (iv) determine the precise asymptotic behavior of longest match-lengths. Extensions to random fields are also given.

연구 동기 및 목표

• 큰 편차 이론을 적용하여 손실 압축에 대한 일반화된 AEP를 제시함으로써 Asymptotic Equipartition Property(AEP)를 손실 압축으로 확장한다.
• 랜덤 코딩과 typical set 추론을 통해 손실 패턴 매칭 알고리즘(예: 레프엘-지브 기법 포함)을 분석하기 위한 이론적 기초를 제공한다.
• 손실 소스 코딩, 대기 시간 및 매칭 길이의 제2차 渐近적 행동을 도출하여 제1차 결과를 정밀화한다.
• 가중치가 부여된 코드북의 성능을 최적의 구 덮개 지수 측면에서 특성화한다.
• 랜덤 필드로의 프레임워크 확장을 통해 공간적 과정에 대한 제1차 및 제2차 결과를 수립한다.

제안 방법

• 큰 편차 이론을 활용하여 손실 압축을 위한 일반화된 AEP를 수립하고, 로그-확률 밀도가 엔트로피 손실률로 수렴함을 증명한다.
• 일반화된 AEP를 랜덤 코드와 불일치 코드북에 적용하여 오류 확률 및 여유도의 경계를 도출한다.
• Borel-Cantelli 보조정리와 지표 변수의 분산 경계를 사용하여 정상 과정에서의 대기 시간과 매칭 길이를 분석한다.
• 일반화된 AEP를 고차원 渐近적 전개로 정밀화하여 제2차 코드화 정리들을 유도한다.
• 가중치가 부여된 손실 기준 하에서 최적의 코드북 설계를 특성화하기 위해 구 덮개 지수의 공식을 도입한다.
• 공간 혼합 조건과 격자 기반 샘플링을 사용하여 결과를 랜덤 필드로 확장하고, 대기 시간 및 매칭 길이 분석을 일반화한다.

실험 결과

연구 질문

• RQ1 왜곡 제약 조건 하에서 Asymptotic Equipartition Property(AEP)를 손실 압축으로 일반화할 수 있는가?
• RQ2 손실 소스 코딩 속도의 제2차 渐近적 행동은 무엇이며, 이는 샤논의 직접 및 역정리 결과를 어떻게 정밀화하는가?
• RQ3 정상 과정 간의 대기 시간은 왜곡에 따라 어떻게 변화하는가? 그리고 패턴 매칭 알고리즘과의 관계는 무엇인가?
• RQ4 레프엘-지브와 같은 손실 압축 기법에서 가장 긴 매칭 길이의 정확한 渐近적 행동은 무엇인가?
• RQ5 불일치 코드북은 압축 성능에 어떤 영향을 미치며, 가중치가 부여된 코드북의 최적의 구 덮개 지수는 무엇인가?

주요 결과

• 일반화된 AEP는 i.i.d. 및 정상 과정에서 성립하며, 로그-확률 밀도가 손실률 함수로 확률 수렴함을 보였다.
• 제2차 손실 소스 코딩 정리가 수립되었으며, i.i.d. 소스에서 여유도가 $\Theta(\sqrt{n})$로 스케일링됨을 보였다.
• 왜곡 $D$를 가진 정상 과정 간의 대기 시간은 거의 확실히 $\log W_n \sim \log n$를 만족하며, Borel-Cantelli 보조정리를 통해 정밀한 渐近적 경계가 유도되었다.
• d차원 랜덤 필드에서 정상 과정 간의 가장 긴 매칭 길이는 $W_n \sim n^{1/d}$로 스케일링되며, 로그 성장에 대해 날카운 경계가 제시되었다.
• 가중치가 부여된 코드북의 최적의 구 덮개 지수는 왜곡 측도에 대한 변분 문제의 하한으로 특성화되었다.
• 불일치 코드북의 경우, 진짜 분포와 불일치 분포 간의 발산에 의존하는 니타이 성능 경계를 도출하였다.