[논문 리뷰] Asymmetric numeral systems

Jarek Duda|ArXiv.org|2009. 02. 02.

Algorithms and Data Compression참고 문헌 5인용 수 81

한 줄 요약

이 논문은 단일 상태를 사용하여 임의의 확률 분포를 가진 기호를 효율적으로 인코딩할 수 있도록 표준 수진 체계를 일반화하는 새로운 엔트로피 코딩 프레임워크인 비대칭 숫자 체계(ANS)를 소개한다. 이는 거의 샤논 한계에 도달하는 압축을 달성한다. 이 방법은 의사난수 초기화를 통해 내장된 암호화를 제공하며, 선형 예상 수정 시간을 갖는 실용적인 오류 수정 메커니즘을 도입하여 어떤 노이즈 수준에서도 샤논의 한계에 가까워진다.

ABSTRACT

In this paper will be presented new approach to entropy coding: family of generalizations of standard numeral systems which are optimal for encoding sequence of equiprobable symbols, into asymmetric numeral systems - optimal for freely chosen probability distributions of symbols. It has some similarities to Range Coding but instead of encoding symbol in choosing a range, we spread these ranges uniformly over the whole interval. This leads to simpler encoder - instead of using two states to define range, we need only one. This approach is very universal - we can obtain from extremely precise encoding (ABS) to extremely fast with possibility to additionally encrypt the data (ANS). This encryption uses the key to initialize random number generator, which is used to calculate the coding tables. Such preinitialized encryption has additional advantage: is resistant to brute force attack - to check a key we have to make whole initialization. There will be also presented application for new approach to error correction: after an error in each step we have chosen probability to observe that something was wrong. There will be also presented application for new approach to error correction: after an error in each step we have chosen probability to observe that something was wrong. We can get near Shannon's limit for any noise level this way with expected linear time of correction.

연구 동기 및 목표

• 표준 수진 체계를 임의의 기호 확률 분포로 일반화하는 통합 엔트로피 코딩 방법을 개발하는 것.
• 더 높은 효율성과 단순성으로 인해 기존의 이중 상태 범위 인코딩을 단일 상태 인코딩 메커니즘으로 대체하는 것.
• 키로 초기화된 의사난수 생성기를 사용하여 암호화 과정을 코딩 과정에 직접 통합하는 것.
• 기대 선형 수정 시간을 유지하면서 샤논의 채널 용량에 가까워지는 실용적인 오류 수정 체계를 설계하는 것.
• ANS 기반 단일 효율적 프레임워크에서 압축, 암호화, 오류 내성 기능을 통합하는 것.

제안 방법

• 기존 산술 인코딩의 이중 상태 범위 정의를 대체하기 위해 현재 인코딩 위치를 나타내는 단일 상태를 사용한다.
• 기호를 연속된 범위가 아닌 상태 공간 전역에 균일하게 분포시키며, 정보는 가장 낮은 비트에 위치시킨다.
• 암호화 키로 시드된 의사난수 생성기를 사용해 코딩 테이블을 초기화하여 내장된 암호화를 가능하게 한다.
• 기호 확률에 기반한 사전 계산된 룩업 테이블을 사용해 인코딩/디코딩 중 상태에 단방향 변환을 적용한다.
• 확률 기반 오류 탐지 메커니즘을 도입: 각 단계에서 확률 $ p_d $ 로 오류가 탐지되며, 경로 추적을 통해 수정이 가능하다.
• 기본 상태의 가장 낮은 비트에 최소 해밍 거리를 강제로 적용함으로써 일반화된 블록 코드를 구성하며, 코드워드에 대해 XOR 및 순열 연산을 사용한다.

실험 결과

연구 질문

• RQ1 단일 상태 엔트로피 코더는 산술 인코딩보다 빠르면서도 샤논 엔트로피 한계에 가까운 압축 효율을 달성할 수 있는가?
• RQ2 추가 계산 비용 없이 암호화를 엔트로피 코딩 과정에 내장할 수 있는가?
• RQ3 기대 선형 수정 시간을 유지하면서 어떤 노이즈 수준에서도 샤논의 한계에 가까워지는 실용적인 오류 수정 메커니즘을 설계할 수 있는가?
• RQ4 의사난수로 초기화된 코딩 테이블 사용이 압축 성능과 보안에 어떤 영향을 미치는가?
• RQ5 지역적 오류 집중을 다루기 위해 블록 간의 부호화 재dundancy를 어떻게 연결할 수 있으며, 이로 인해 보정 비용이 지수적으로 증가하지 않도록 할 수 있는가?

주요 결과

• ANS는 단일 상태만을 사용함으로써 산술 인코딩과 유사한 압축률을 달성하면서도 구현을 단순화하고 속도를 향상시킨다.
• 기호 확률이 잘 추정된 경우, 이론적 샤논 한계에 가까운 정밀도를 갖는 거의 최적의 압축을 지원한다.
• 키로 초기화된 의사난수 테이블을 통한 내장 암호화는 전체 초기화가 필요하므로 브루트 포스 공격에 강력한 저항성을 제공한다.
• 오류 수정 메커니즘은 각 단계에서 확률 $ p_d $ 로 오류를 탐지하며, $ p_d $ 가 샤논 한계와 관련된 임계값을 초과할 경우 기대 선형 수정 시간을 달성한다.
• 코더의 내부 상태를 통해 블록 간의 부호화 재dundancy를 연결함으로써 고도로 국소화된 오류 집중을 처리할 수 있으며, 이로 인해 이론적 채널 용량에 가까워진다.
• 강제로 해밍 거리를 두는 일반화된 블록 코드(예: 거리 2 이상)는 단일 비트 오류를 즉시 탐지할 수 있으며, 이는 디코더 테이블 룩업 횟수를 줄이고 수정 속도를 향상시킨다.