[논문 리뷰] Sparse Sequential Dirichlet Coding

Joel Veness, Marcus Hütter|arXiv (Cornell University)|2012. 06. 16.

Algorithms and Data Compression참고 문헌 2인용 수 4

한 줄 요약

이 논문은 메모리 없는 소스에 대해 단일 알파벳 기반의 희소한 기여도를 가진 경우에 계산적으로 효율적인 방법인 희소 순차 딜레르트 코딩(Sparse Sequential Dirichlet Coding, SSDC)을 소개한다. 이 방법은 최적의 순차 하위알파벳 추정기와 유사한 부족함을 가지지만, 기호당 O(1) 시간과 O(|A|) 공간을 사용하여 전체 알파벳을 사용하는 표준 순차 딜레르트 코딩보다 우수하고, 실질적으로 더 복잡한 순차 하위알파벳 방법과 동등하거나 略적으로 뛰어나다.

ABSTRACT

This short paper describes a simple coding technique, Sparse Sequential Dirichlet Coding, for multi-alphabet memoryless sources. It is appropriate in situations where only a small, unknown subset of the possible alphabet symbols can be expected to occur in any particular data sequence. We provide a competitive analysis which shows that the performance of Sparse Sequential Dirichlet Coding will be close to that of a Sequential Dirichlet Coder that knows in advance the exact subset of occurring alphabet symbols. Empirically we show that our technique can perform similarly to the more computationally demanding Sequential Sub-Alphabet Estimator, while using less computational resources.

연구 동기 및 목표

• 전체 알파벳 X가 시퀀스에서 실제로 사용되는 기호 집합 A보다 훨씬 클 경우 순차 딜레르트 코딩의 비효율성을 해결하기 위해.
• 전체 알파벳 X에 비해 실제로 사용되는 기호 집합 A가 희소할 경우, 순차 하위알파벳 추정기와 비교해 계산 비용과 메모리 사용량을 줄이기 위해.
• |A| ≪ |X| 인 경우에도 부족함이 낮게 유지되는 코딩 방법을 설계하여, 사전에 A를 알고 있는 오라클의 성능에 가까워지기 위해.
• 예를 들어 알파벳 희소성이 흔한 컨텍스트 기반 압축과 같은 응용 분야에서 순차 하위알파벳 추정기의 실용적 대안을 제공하기 위해.

제안 방법

• 이 방법은 시퀀스에서 실제로 관측된 기호들만 추적하는 희소 표현 방식을 사용하며, 확률 추정을 위한 효율적인 카운트와 고유 기호 집합 U(x< i)를 유지한다.
• 조건부 확률에서는 두 구성 요소를 조합한다: 미관측 기호에 대한 균일한 사전 확률(가중치 αi)과 관측된 기호에 대한 딜레르트 추정기(가중치 1−αi).
• 확률 모델은 다음과 같이 정의된다: ξ(x1:n) = ∏i=1n [𝕀[c(x1:i)=0] αi / (|X|−|U(x< i)|) + 𝕀[c(x1:i)>0] (1−αi) (c(x1:i)+½)/(i + |U(x< i)|/2 −1) ], 이는 적응적이고 희소한 계산을 가능하게 한다.
• 알고리즘은 미관측 기호에 대한 균일성과 관측된 기호에 대한 정확한 추정 간의 균형을 유지하기 위해 가중치 αi를 동적으로 조정한다. 이는 낮은 부족함을 보장한다.
• 기본적으로 해시 테이블 또는 유사한 자료구조를 유지하여 카운트와 고유 기호를 저장함으로써 기호당 평균 O(1) 시간 복잡도를 달성한다.
• 이 방법은 부족함 측면에서 순차 하위알파벳 추정기와 경쟁 가능하지만, 시간 및 공간 복잡도 측면에서 상당히 낮은 수준을 달성한다.

실험 결과

연구 질문

• RQ1 기호당 O(|A|) 시간과 공간만을 사용하면서도 순차 하위알파벳 추정기 수준의 부족함을 달성할 수 있는 코딩 방법을 설계할 수 있는가?
• RQ2 |A| ≪ |X| 인 경우, 표준 순차 딜레르트 코딩(전체 알파벳 X 사용)보다 제안된 방법이 우수한가?
• RQ3 SSDC의 성능은 더 복잡한 순차 하위알파벳 추정기와 비교해 압축 길이와 부족함 측면에서 어떻게 되는가?
• RQ4 |A| ≪ |X| 가 성립하지 않는 상황에서도 SSDC는 안정적인가?

주요 결과

• |A|=5, |X|=26 인 경우 평균적으로 SSDC는 순차 하위알파벳 추정기보다 1.41비트 적게 사용했으며, 최대 차이는 0.37비트였다.
• |A|=10, |X|=256 인 경우 SSDC는 평균적으로 순차 하위알파벳 추정기보다 1.30비트 적게 사용했고, 최대 격차는 1.32비트였다.
• |A|=5, |X|=26 인 경우 SSDC는 전체 알파벳 X를 사용하는 순차 딜레르트 코딩보다 평균 42.4비트 더 적게 사용했으며, 이는 뚜렷한 성능 향상을 의미한다.
• |A|=18, |X|=26 인 경우 희소성 가정이 성립하지 않았을 때 SSDC는 순차 하위알파벳 추정기보다 평균 13.23비트 더 많이 사용했으며, 이는 |A|가 |X|에 비해 작지 않을 경우 성능 저하가 발생함을 시사한다.
• 모든 시험 케이스에서 SSDC는 순차 하위알파벳 추정기보다 5.77비트를 초과해 열 劣하지 않았고, 대부분의 경우 약간 더 우수한 성능를 보였다.
• 희소 환경에서 최적의 오라클과 sdc(A)에 가까운 부족함을 달성하여 강력한 실용적 성능을 입증했다.