[논문 리뷰] Introduction to Arithmetic Coding -- Theory and Practice

Amir Said|arXiv (Cornell University)|2023. 02. 02.

Algorithms and Data Compression참고 문헌 50인용 수 107

한 줄 요약

이 챕터는 arithmetic coding의 이론, 최적성, 그리고 고정 정밀도 산술, 적응 코딩, 복잡도 고려사항을 포함한 실용적 구현 측면을 다룬다.

ABSTRACT

This introduction to arithmetic coding is divided in two parts. The first explains how and why arithmetic coding works. We start presenting it in very general terms, so that its simplicity is not lost under layers of implementation details. Next, we show some of its basic properties, which are later used in the computational techniques required for a practical implementation. In the second part, we cover the practical implementation aspects, including arithmetic operations with low precision, the subdivision of coding and modeling, and the realization of adaptive encoders. We also analyze the arithmetic coding computational complexity, and techniques to reduce it.

연구 동기 및 목표

• 엔트로피 코딩으로서 arithmetic coding이 왜 효과적인지와 다양한 데이터 소스에의 적용 가능성을 설명한다.
• 간단한 arithmetic coding 모델을 간격과 코드 값과 함께 제시하고 최적성 및 특성을 강조한다.
• 고정 정밀도 산술, 적응 코딩, 동기화 요구사항 등 실용적 구현 측면을 보여준다.
• 코딩과 소스 모델링의 분리를 보여주고 계산 복잡도를 분석한다.

제안 방법

• 데이터 소스, 확률 및 누적 분포를 정의하여 간격 기반 인코딩 프레임워크를 확립한다.
• 인코딩 과정을 p(s_k) 및 c(s_k)에 따라 기저 b_k와 길이 l_k로 묶인 중첩 간격 업데이트 Phi_k(S)로 기술한다.
• 관측된 v에 따라 c(s)와 p(s) 기반으로 기호 시퀀스를 복구하기 위해 정규화된 코드 값을 사용한 디코딩 프로세스를 기술한다.
• 캐리, 재정규화, 출력 효율성 등의 고정 정밀도 산술 및 구현 고려사항을 논의한다.
• 확률 분포를 업데이트하고 인코더와 디코더 간의 동기화를 유지함으로써 적응 코딩을 설명하며(정확히 같은 규칙의 중요성).
• 간격 재정규화, 기호 검색 및 누적 분포 추정 등 산술 코딩 복잡도를 분석한다.

실험 결과

연구 질문

• RQ1 독립 동일 분포(i.i.d.) 소스에 대해 산술 코딩이 최적 압축을 달성하고 적응 또는 비- i.i.d. 소스에 대해서도 근사 최적의 성능을 내는 방법은?
• RQ2 고정 정밀도와 낮은 복잡성을 유지하면서도 정확성을 보장하는 산술 코딩 구현의 실용적 고려사항과 기법은?
• RQ3 코딩과 소스 모델링의 분리가 실제 압축 응용에서 시스템 설계와 적응성에 어떤 영향을 미치는가?
• RQ4 동적(시간에 따라 변하는) 소스를 사용할 때 인코더/디코더 동기화 및 정합성에 미치는 영향은?

주요 결과

• Arithmetic coding은 점근적으로 최적의 압축을 달성하며, 평균 심볼당 비트 수가 소스 엔트로피 H(Ω)에 근접한다.
• 코드 값은 [0,1) 구간으로 매핑되며 최적의 부호화일 때 균일 분포 특성을 가지므로 효율적 표현과 디코딩이 가능하다.
• 코딩과 소스 모델링 사이의 명확한 분리가 있어 확률 모델과 코딩 엔진의 독립적 개발이 가능하다.
• 인코더/디코더 동기화는 특히 적응 및 동적 모델링 하에서 올바름을 위해 필수적이며 동일한 규칙과 정밀도를 공유해야 한다.
• 간격 재스케일링과 고정 정밀도 전략은 현실적 구현을 가능하게 하며 복잡도와 정확도 사이의 균형을 제공합니다.