[논문 리뷰] Encoding and Decoding Algorithms of ANS Variants and Evaluation of Their Average Code Lengths

H. Yamamoto, Ken‐ichi Iwata|arXiv (Cornell University)|2024. 08. 14.

Coding theory and cryptography인용 수 1

한 줄 요약

이 논문은 ANS 변종인 ABS, rANS, tANS에 대한 인코딩 및 디코딩 알고리즘을 종합적이고 접근하기 쉬운 방식으로 설명하며, 평균 코드 길이에 대한 엄밀한 정보이론적 상한을 유도한다. tANS는 최적의 확률 분포를 사용할 경우 기준값에 근접한 압축 성능을 보이며, 기호당 손실이 1비트 이내로 제한되어 있어 실용적인 무손실 압축 시스템에 매우 효율적임을 보여준다.

ABSTRACT

Asymmetric Numeral Systems (ANS) proposed by Jarek Duda are high-performance distortionless data compression schemes that can achieve almost the same compression performance as arithmetic codes with less arithmetic operations than arithmetic coding. The ANS is widely used in various practical systems like Facebook, Apple, Google, Dropbox, Microsoft, and Pixar, due to their high performance, but many researchers still lack much knowledge about the ANS. This paper thoroughly explains the encoding and decoding algorithms of the ANS, and theoretically analyzes the average code length achievable by the ANS.

연구 동기 및 목표

• ANS 인코딩 및 디코딩 알고리즘에 대한 명확하고 상세한 설명을 제공함으로써, 이는 종종 부족한 문서화와 이해하기 어려운 원인으로 인해 어려움을 겪는 분야이다.
• Zstandard, LZFSE, 구글의 압축 도구 등 다양한 시스템에서 널리 사용되고 있음에도 불구하고, ANS에 대한 이론적 성능 평가, 특히 평균 코드 길이에 대한 분석이 부족한 점을 보완하고자 한다.
• ANS 변종이 달성할 수 있는 평균 코드 길이에 대한 엄밀한 정보이론적 상한을 유도하며, 특히 tANS와 그 이상적인 성능에서의 편차에 초점을 맞춘다.
• ANS와 산술 압축 간의 관계를 명확히 하여, 정수 산술과 역순 처리를 통해 산술 연산 수를 줄이며 유사한 압축 효율을 달성하는 방식을 강조한다.

제안 방법

• 정수 산술을 사용하여 ABS(비대칭 이진 시스템), rANS(범위 변종), tANS(표 기반 변종)라는 세 가지 ANS 변종에 대한 인코딩 및 디코딩 함수를 제안하고 체계화한다.
• 기본 구성 요소로 엔트로피 H(p)와 상대 엔트로피 D(p∥q)를 사용하여 예상 평균 코드 길이를 봉인하는 새로운 정보이론적 분석을 도입한다.
• tANS에 대한 엄밀한 상한을 도출: L ≤ H(p) + D(p∥q) + α/N, 여기서 α는 상수이고 N은 표 크기이며, 이는 근사 최적성의 증거가 된다.
• tANS에서의 양자화로 인한 평균 코드 길이 손실을 분석하기 위해 실수값 이상의 코드워드 길이와 정수 기반 구현 간의 비교를 수행한다.
• 제닝스 부등식과 확률 분포를 활용하여 실제 코드 길이와 이상적 코드 길이 간의 편차를 유한하게 제한하며, 특히 tANS의 경우에 중점을 둔다.
• 매핑 함수 C̃의 최적 설계 시, 분포 Q(x)가 이상적 Q*(x) = (lg x + 1)/x에 매우 가까이 수렴함을 보여주며, 성능 손실를 최소화할 수 있다.

실험 결과

연구 질문

• RQ1 ABS, rANS, tANS의 인코딩 및 디코딩 알고리즘이 실제로 어떻게 작동하며, 그 핵심 차이는 무엇인가?
• RQ2 ANS 변종이 달성할 수 있는 평균 코드 길이에 대한 이론적 상한은 무엇이며, 이는 정보이론적 한계에 얼마나 가까이 도달할 수 있는가?
• RQ3 tANS의 성능 손실는 이상적인 실수값 코드워드 시스템에 비해 얼마나 되며, 적절한 설계를 통해 이를 어떻게 최소화할 수 있는가?
• RQ4 tANS의 평균 코드 길이를 엔트로피와 상대 엔트로피로 봉인할 수 있는가? 이 상한에서 표 크기 N은 어떤 역할을 하는가?
• RQ5 확률 분포와 매핑 함수의 선택은 tANS의 압축 효율성에 어떤 영향을 미치는가?

주요 결과

• tANS의 평균 코드 길이는 H(p) + D(p∥q) + α/N로 봉인되며, 여기서 α는 상수이므로 표 크기가 클수록 성능 손실가 감소함을 보여준다.
• 이론적 손실은 이상적 경우와 비교해 기준값보다 1비트 이내로 엄밀히 작으며, L − L* < 1로 증명된다.
• 확률 분포 q(s) = N/Ns가 소스 분포 p(s)와 일치할 경우, 매핑 함수 C̃를 구성함으로써 Q(x) = Q*(x) + O(1/N²)로 표현 가능하여 근사 최적 성능에 도달할 수 있다.
• tANS의 이상적 정적 분포는 Q*(x) = (lg x + 1)/x이며, 이 분포를 달성함으로써 평균 코드 길이를 최소화할 수 있다.
• 분석 결과 tANS는 정수 산술을 사용함에도 불구하고 산술 압축과 유사한 압축 성능을 달성할 수 있으며, 양자화로 인한 소수의 제한된 손실만 존재함을 확인하였다.
• 이 논문은 정수 산술을 사용하더라도 ANS가 산술 압축의 압축 효율을 따라가며, 더 적은 계산 연산을 요구함으로써 고성능 시스템에 적합하다는 것을 입증하였다.