[논문 리뷰] Data Compression and Entropy Estimates by Non-sequential Recursive Pair Substitution

Peter Grassberger|ArXiv.org|2002. 07. 05.

Algorithms and Data Compression참고 문헌 6인용 수 17

한 줄 요약

이 논문은 비순차적 재귀적 쌍 치환(Non-sequential Recursive Pair Substitution, NSRPS)이 마르코프 수열에서 최적의 데이터 압축과 정확한 엔트로피 추정의 기초가 될 수 있음을 보여준다. 반복적으로 빈도가 높은 문자 쌍을 새로운 기호로 치환하고 치환에 대해 효율적인 코딩을 적용함으로써 NSRPS는 이론적 한계에 가까운 엔트로피 추정을 달성하며, 135GB의 텍스트 데이터에서 추론한 결과로 영어의 실제 엔트로피는 약 ≈0.8 bit/character로 추정된다.

ABSTRACT

We argue that Non-sequential Recursive Pair Substitution (NSRPS) as suggested by Jiménez-Montaño and Ebeling can indeed be used as a basis for an optimal data compression algorithm. In particular, we prove for Markov sequences that NSRPS together with suitable codings of the substitutions and of the substitute series does not lead to a code length increase, in the limit of infinite sequence length. When applied to written English, NSRPS gives entropy estimates which are very close to those obtained by other methods. Using ca. 135 GB of input data from the project Gutenberg, we estimate the effective entropy to be $\approx 1.82$ bit/character. Extrapolating to infinitely long input, the true value of the entropy is estimated as $\approx 0.8$ bit/character.

연구 동기 및 목표

• NSRPS가 마르코프 수열에서 최적의 압축 기반으로 사용될 수 있는지 여부를 규명하는 것.
• 특히 영어와 같은 구어체 언어의 진짜 엔트로피를 추정하는 데 NSRPS의 효과성을 평가하는 것.
• 이전의 NSRPS 구현 방식에서 효율적이지 않고 유일하지 않은 코딩 방식을 사용해 엔트로피를 신뢰성 있게 추정하지 못했던 문제점을 해결하는 것.
• 치환과 치환 시퀀스에 대해 고유하게 디코딩 가능하고 효율적인 코딩을 갖춘 수학적으로 타당한 NSRPS 프레임워크를 제공하는 것.
• 무한한 수열 길이로의 엔트로피 추정을 신뢰성 있게 외삽할 수 있도록 하는 것으로, 이는 기존 방법보다 더 견고한 대안을 제공한다.

제안 방법

• NSRPS는 수열 내에서 가장 빈도가 높은 겹치지 않는 문자 쌍을 확장된 알파벳의 새로운 기호로 반복적으로 치환함으로써 알파벳 크기를 매 단계마다 증가시킨다.
• 이 방법은 탐욕 전략을 사용한다: 각 단계에서 빈도가 가장 높은 쌍을 치환하고, 더 이상 코드 길이가 감소하지 않을 때까지 이를 반복한다.
• 치환은 효율적이고 고유하게 디코딩 가능한 코드로 표현되며, 결과 수열의 코드 길이를 추적하여 무한한 길이의 극한에서 길이가 증가하지 않도록 보장한다.
• 엔트로피 추정을 위해 각 치환 단계 이후의 수열 엔트로피를 쌍의 확률을 사용해 계산하고, 얻어진 엔트로피 추정치를 거듭제곱 감쇠 모델에 적합시켜 무한한 치환 깊이로의 외삽을 수행한다.
• 모델 $ \hat{h}_i = h + \frac{c}{(i + i_0)^\alpha} $ 는 엔트로피 추정치에 적합되며, 이로써 진정한 점근적 엔트로피 $ h $ 로의 외삽이 가능하다.
• 이 방법은 135GB의 영어 텍스트 데이터(프로젝트 구니즈에서 확보)를 대상으로 검증되었으며, 결과는 무한한 입력 길이로 외삽되었다.

실험 결과

연구 질문

• RQ1 무한한 수열 길이의 극한에서 NSRPS가 마르코프 수열에 대해 최적의 압축을 제공할 수 있음을 증명할 수 있는가?
• RQ2 무한한 입력 길이로 외삽했을 때 NSRPS가 영어와 같은 구어체 언어의 진짜 엔트로피를 안정적으로 추정할 수 있는가?
• RQ3 Lempel-Ziv나 트리 기반 도박 알고리즘과 같은 다른 기존 방법과 비교해 NSRPS의 엔트로피 추정치는 어떻게 다른가?
• RQ4 치환을 인코딩하는 데 드는 오버헤드 비용이 압축 기법의 최적성에 어느 정도 영향을 미치는가?
• RQ5 NSRPS 하에서 엔트로피 추정치의 수렴을 신뢰성 있게 모델링하여 진정한 점근적 엔트로피로의 외삽이 가능한가?

주요 결과

• 치환과 치환 시퀀스를 효율적으로 인코딩할 경우, NSRPS는 무한한 수열 길이의 극한에서 코드 길이가 증가하지 않아 마르코프 수열에 대해 최적의 압축을 달성한다.
• 135GB의 텍스트 데이터를 사용해 영어에 대해 NSRPS는 약 ≈1.82 bit/character의 엔트로피 추정치를 도출하였으며, 이는 다른 방법의 추정치와 유사하다.
• 거듭제곱 감쇠 모델을 사용해 무한한 입력 길이로 외삽한 결과, 영어의 진짜 엔트로피는 약 ≈0.8 bit/character로 추정되었으며, 신뢰구간은 ±0.2 bit/character였다.
• 외삽된 엔트로피 추정치는 셰넌의 원래 추정치와 최근의 다른 추정치와 일치하지만, 일부 이전 연구에서 제기한 0 엔트로피 가능성은 배제된다.
• 더 높은 계산 비용에도 불구하고, 기존의 트리 기반 도박 알고리즘과 비교해 더 신뢰할 수 있는 무한 길이로의 외삽 경로를 제공한다.
• 이 연구는 마르코프 구조가 NSRPS 과정의 고정점임을 확인하였지만, 이 고정점의 매력점 성질은 아직 증명되지 않았다.