[논문 리뷰] Asymmetric numeral systems: entropy coding combining speed of Huffman coding with compression rate of arithmetic coding

Jarek Duda|arXiv (Cornell University)|2013. 11. 11.

Algorithms and Data Compression참고 문헌 6인용 수 131

한 줄 요약

이 논문은 허프만 부호화의 속도와 산술 부호화의 압축 효율성을 결합한 새로운 엔트로피 부호화 방법으로 비대칭 숫자 체계(ANS)를 소개한다. 단일 자연수를 상태로 사용하고 기호의 확률에 따라 자릿수 배치를 재정의함으로써, ANS는 이론적 압축 한계에 매우 가까운 성능을 달성하면서도 해독 속도가 훨씬 빠르며, 256기호 알파벳 기준으로 허프만 부호화 대비 최대 50% 빠르게 동작한다. 또한 의사난수 테이블 생성을 통해 내장된 데이터 암호화를 가능하게 한다.

ABSTRACT

The modern data compression is mainly based on two approaches to entropy coding: Huffman (HC) and arithmetic/range coding (AC). The former is much faster, but approximates probabilities with powers of 2, usually leading to relatively low compression rates. The latter uses nearly exact probabilities - easily approaching theoretical compression rate limit (Shannon entropy), but at cost of much larger computational cost. Asymmetric numeral systems (ANS) is a new approach to accurate entropy coding, which allows to end this trade-off between speed and rate: the recent implementation [1] provides about $50\%$ faster decoding than HC for 256 size alphabet, with compression rate similar to provided by AC. This advantage is due to being simpler than AC: using single natural number as the state, instead of two to represent a range. Beside simplifying renormalization, it allows to put the entire behavior for given probability distribution into a relatively small table: defining entropy coding automaton. The memory cost of such table for 256 size alphabet is a few kilobytes. There is a large freedom while choosing a specific table - using pseudorandom number generator initialized with cryptographic key for this purpose allows to simultaneously encrypt the data. This article also introduces and discusses many other variants of this new entropy coding approach, which can provide direct alternatives for standard AC, for large alphabet range coding, or for approximated quasi arithmetic coding.

연구 동기 및 목표

• 엔트로피 부호화에서 속도와 압축 효율성 사이의 오랜 상충 관계를 해결하기 위해.
• 복잡한 재정규화와 상태 관리를 피하는 산술 부호화의 실용적 대안을 개발하기 위해.
• 확률적 상태 전이 기반의 단일 프레임워크를 통해 동시에 데이터 압축과 암호화를 수행하기 위해.
• ANS를 암호 시스템에서 경량이며 비선형적인 구성 요소로 사용할 수 있는지 탐색하기 위해.
• ANS를 일반 목적의 엔트로피 부호화 방법으로서 성능과 보안을 조절 가능한 이론적이고 실용적인 기반을 마련하기 위해.

제안 방법

• 산술 부호화의 두 숫자 범위 표현 방식을 대체하기 위해 단일 자연수를 상태로 사용한다.
• 기호 s가 상태 x를 x′ ≈ x/p_s로 매핑하는 전이 규칙을 정의함으로써, 정보 이득이 log(1/p_s) 비트와 일치하도록 보장한다.
• 기호의 확률에 따라 짝수와 홀수 수의 집합을 재정의하여, 밀도가 다른 균일한 분포를 생성한다.
• 사전에 상태에서 기호와 다음 상태로 매핑하는 룩업 테이블을 계산하여 유한 상태 오토마타(tANS)를 구성한다.
• 암호학적 키로 초기화된 의사난수 생성기를 사용하여 고유한 부호화 테이블을 생성함으로써, 보안성과 키 기반의 부호화를 가능하게 한다.
• 범위 산술을 복잡하게 처리하는 대신 재정규화 단계에서 비트 블록 전송을 사용함으로써, 구현을 단순화하고 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 상태 엔트로피 부호화기가 샤논 엔트로피 한계에 매우 가까운 압축률을 달성하면서도 허프만 부호화 수준의 해독 속도를 유지할 수 있는가?
• RQ2 정보 이론적으로 최적화된 상태 전이 규칙을 설계하면서도 효율적인 구현이 가능한가?
• RQ3 키 기반 테이블 생성을 통해 ANS가 얼마나 효과적으로 내장된 데이터 암호화를 지원할 수 있는가?
• RQ4 부호화 테이블을 위한 의사난수 초기화를 사용할 경우 성능와 보안 간의 상호 교환 관계는 어떠한가?
• RQ5 ANS는 적응형, 문맥 기반, 또는 다중 알파벳 압축 시스템에 어떻게 적용될 수 있는가?

주요 결과

• ANS는 산술 부호화와 거의 동일한 압축률을 달성하며, 이론적 샤논 엔트로피 한계에 매우 가까이 접근한다.
• 256기호 알파벳 기준으로 tANS의 해독 속도는 허프만 부호화 대비 최대 50% 빠르며, 더 단순한 상태 전이와 비트 블록 처리 덕분이다.
• 두 숫자로 구성된 범위 표현 방식을 단일 자연수 상태로 대체함으로써 계산 복잡도를 감소시키고, 재정규화 과정을 단순화한다.
• 부호화 테이블을 초기화하기 위해 의사난수 생성기를 사용함으로써, 키 기반 동작을 갖는 동시에 데이터 압축과 암호화를 동시에 수행할 수 있다.
• 블록 인덱스로 의사난수 생성기의 시드를 설정함으로써 동일한 키로 여러 개의 독립적인 부호화를 수행할 수 있어, 브루트 포스 공격에 대한 저항력을 높일 수 있다.
• 256기호 알파벳용 tANS 테이블은 몇 킬로바이트의 메모리만 필요하여 실세계 적용에 실용적이다.