[논문 리뷰] Adaptive Codes: A New Class of Non-standard Variable-length Codes

Dragoş Trincă|ArXiv.org|2005. 05. 02.

Algorithms and Data Compression참고 문헌 7인용 수 3

한 줄 요약

이 논문은 입력 문자열의 이전 기호에 따라 동적으로 코드어를 할당하는 비표준 가변길이 코드의 새로운 클래스인 적응형 코드를 소개한다. 이는 맥락에 민감한 압축을 가능하게 한다. 저자는 순서 1의 적응형 코드를 구성하는 효율적인 알고리즘을 제시하며, 이들의 압축률이 입력의 엔트로피에 의해 경계지어지며, 반복적인 기호 쌍을 포함하는 입력 문자열에서는 거의 최적의 성능을 달성함을 증명한다.

ABSTRACT

We introduce a new class of non-standard variable-length codes, called adaptive codes. This class of codes associates a variable-length codeword to the symbol being encoded depending on the previous symbols in the input data string. An efficient algorithm for constructing adaptive codes of order one is presented. Then, we introduce a natural generalization of adaptive codes, called GA codes.

연구 동기 및 목표

• 입력 기호의 이전 기호에 따라 코드어 할당을 적응적으로 조정하는 새로운 가변길이 코드 클래스를 개발하여 압축 효율을 향상시키는 것.
• 실용적 구현을 가능하게 하는 순서 1의 적응형 코드를 구성하는 효율적인 알고리즘을 설계하는 것.
• 알고리즘의 압축률을 엔트로피와 연결하여 압축 성능에 대한 이론적 경계를 설정하는 것.
• 더 높은 순서와 더 유연한 맥락 적응을 가능하게 하는 일반화된 클래스인 GA 코드로 적응형 코드를 일반화하는 것.

제안 방법

• 적응형 코드는 함수 $ c: \Sigma \times \Sigma^{\leq n} \rightarrow \Delta^{+} $ 를 통해 정의되며, 코드어 할당이 지금까지 본 마지막 $ n $개 기호에 따라 달라진다.
• 함수적 연속 확장 $ \overline{c} $ 는 유일한 디코딩 가능성을 보장하는 단사성을 보장한다.
• 순서 1의 적응형 코드를 구성하기 위한 알고리즘이 제안되며, 이는 기호 쌍을 인코딩하고 맥락 기반 코드어에 대해 접두사 코드를 사용하는 데 기반한다.
• 압축률 $ R_A(w) $ 가 분석되며, $ H_A(w) \leq R_A(w) \leq H_A(w) + 1 $ 로 경계지어지며, 여기서 $ H_A(w) $ 는 인코딩된 시퀀스의 엔트로피이다.
• 적응형 함수 $ F $ 를 사용한 GA 코드로의 일반화가 도입되며, 고정 길이 이력 초과의 임의의 맥락 선택을 가능하게 한다.
• 함수적 연속 확장의 단사성을 보장하기 위해 맥락 기반 코드어 집합 $ C_{\sigma_1\ldots\sigma_h} $ 가 접두사 코드를 이루는 데 필요한 이론적 조건이 증명된다.

실험 결과

연구 질문

• RQ1 이전 입력 기호에 따라 코드어 길이를 동적으로 조정할 수 있는 가변길이 코드를 설계할 수 있는가? 이는 압축 성능을 향상시킬 수 있는가?
• RQ2 유일한 디코딩 가능성이 보장되는 순서 1의 적응형 코드를 효율적으로 구성할 수 있는 알고리즘적 구조는 무엇인가?
• RQ3 적응형 코드의 압축률은 입력 데이터의 엔트로피와 어떻게 관련이 있는가?
• RQ4 적응형 코드는 고정 길이 이력 초과의 임의의 맥락 선택을 지원하도록 일반화할 수 있는가?
• RQ5 맥락 기반 코드어 집합 $ C_{\sigma_1\ldots\sigma_h} $ 가 접두사 코드를 이루는 데 필요한 이론적 조건은 무엇인가? 이는 유일한 디코딩 가능성을 유지하는 데 기여한다.

주요 결과

• 실용적인 데이터 압축에 활용할 수 있도록 순서 1의 적응형 코드를 구성하는 효율적인 알고리즘이 제시된다.
• 이 알고리즘의 압축률 $ R_A(w) $ 는 입력의 엔트로피 $ H_A(w) $ 에 의해 경계지어지며, $ H_A(w) \leq R_A(w) \leq H_A(w) + 1 $ 로 표현되며, 이는 거의 최적임을 시사한다.
• 입력 문자열에 반복적인 기호 쌍이 많이 포함되어 있을 경우, 맥락 기반 코드어 할당 덕분에 높은 압축 효율을 달성한다.
• 적응형 코드 클래스는 GA 코드로 공식적으로 일반화되었으며, 표준 적응형 코드가 GA 코드의 특수한 경우임을 증명하였다.
• 맥락 기반 코드어 집합 $ C_{\sigma_1\ldots\sigma_h} $ 가 접두사 코드를 이루는 조건이 이론적으로 확립되었으며, 이는 함수적 연속 확장의 유일한 디코딩 가능성을 보장한다.
• 엔트로피 기반 분석을 통해 입력에 강한 통계적 의존성이 존재할 경우 압축률이 이론적 최소값에 가까워짐을 보여주었다.