[논문 리뷰] Patterns of i.i.d. Sequences and Their Entropy

Gil I. Shamir|arXiv (Cornell University)|2006. 05. 10.

Cellular Automata and Applications인용 수 3

한 줄 요약

이 논문은 i.i.d. 시퀀스에서 유도된 패턴의 엔트로피에 대한 날카운 상한과 하한을 도출하며, 특히 큰 알파벳에서 i.i.d. 엔트로피에 비해 패턴 엔트로피가 크게 감소함을 보여준다—유니버설 코딩 부족량 경계보다도 더 뚜렷하게 감소한다. 이 경계는 소스 엔트로피, 알파벳 크기, 확률 분포에 의존하며, 알파벳 크기가 패턴 길이를 초과할 경우 압축된 알파벳에 대한 보정 항이 포함된다.

ABSTRACT

Bounds on the entropy of patterns of sequences generated by independently identically distributed (i.i.d.) sources are derived. A pattern is a sequence of indices that contains all consecutive integer indices in increasing order of first occurrence. If the alphabet of a source that generated a sequence is unknown, the inevitable cost of coding the unknown alphabet symbols can be exploited to create the pattern of the sequence. This pattern can in turn be compressed by itself. The bounds derived here are functions of the i.i.d. source entropy, alphabet size, and letter probabilities. It is shown that for large alphabets, the pattern entropy must decrease from the i.i.d. one. The decrease is in many cases more significant than the universal coding redundancy bounds derived in prior works. The pattern entropy is confined between two bounds that depend on the arrangement of the letter probabilities in the probability space. For very large alphabets whose size may be greater than the coded pattern length, all low probability letters are packed into one symbol. The pattern entropy is upper and lower bounded in terms of the i.i.d. entropy of the new packed alphabet. Correction terms are provided for both upper and lower bounds. The bounds are used to approximate the pattern entropy for various specific distributions, with focus on uniform and monotonic ones. Tight bounds are obtained on the pattern entropy even for distributions that have infinite i.i.d. entropy rates.

연구 동기 및 목표

• i.i.d. 소스에서 유도된 패턴의 엔트로피에 대한 날카운 경계를 도출하는 것, 특히 알파벳이 알려져 있지 않은 경우에 중점을 두어.
• 패턴 압축으로 인한 엔트로피 감소를 정량화하는 것, 특히 유니버설 코딩 부족량 경계와의 비교에서.
• 문자 확률의 배열이 패턴 엔트로피 경계에 미치는 영향을 분석하는 것.
• 균일 및 단조 분포 하에서 패턴 엔트로피의 근사치를 제공하는 것.
• 무한한 i.i.d. 엔트로피 비율을 가진 분포에 대해서도 경계를 수립하는 것.

제안 방법

• 패턴을 증가하는 순서로 각 고유 기호의 첫 번째 발생에 해당하는 인덱스의 순서로 정의한다.
• i.i.d. 소스 엔트로피, 알파벳 크기, 개별 문자 확률의 함수로 이러한 패턴의 엔트로피를 모델링한다.
• 낮은 확률을 가진 기호들을 하나의 기호로 묶어 분석을 단순화하기 위해 큰 알파벳에 대해 압축 기법을 도입한다.
• 압축된 알파벳의 엔트로피를 사용하여 패턴 엔트로피의 상한과 하한을 유도하며, 명시적인 보정 항을 포함한다.
• 균일 및 단조 분포와 같은 특정 분포에 경계를 적용하여 날카운 정도와 정확도를 평가한다.
• 정보이론적 부등식을 사용하여 패턴 엔트로피를 원래 i.i.d. 소스 엔트로피와 연결하며, 특히 큰 알파벳의 渐近적 영역에서 중점한다.

실험 결과

연구 질문

• RQ1 i.i.d. 시퀀스에서 유도된 패턴의 엔트로피는 원래 소스의 엔트로피와 어떻게 비교되는가, 특히 큰 알파벳에서?
• RQ2 i.i.d. 소스 엔트로피와 문자 확률 분포의 관점에서 패턴 엔트로피는 어느 정도 경계될 수 있는가?
• RQ3 낮은 확률 기호들을 하나의 기호로 압축할 경우 보정 항은 패턴 엔트로피 경계의 정확도를 얼마나 향상시키는가?
• RQ4 무한한 i.i.d. 엔트로피 비율을 가진 분포에 대해서도 날카운 패턴 엔트로피 경계를 수립할 수 있는가?
• RQ5 유도된 경계는 기존의 유니버설 코딩 부족량 경계와 크기 측면에서 어떻게 비교되는가?

주요 결과

• 큰 알파벳에서 패턴 엔트로피는 i.i.d. 소스 엔트로피보다 엄밀히 작으며, 이 감소 폭은 일반적으로 알려진 유니버설 코딩 부족량 경계를 초월한다.
• 패턴 엔트로피 경계는 엔트로피나 알파벳 크기 외에도 확률 공간 내 문자 확률의 배열에 의해 결정되며, 이는 매우 중요하다.
• 알파벳 크기가 패턴 길이를 초과할 경우, 낮은 확률 기호들을 하나의 기호로 압축하면 보정 항이 명시된 타당한 근사치를 얻을 수 있다.
• 무한한 i.i.d. 엔트로피 비율을 가진 분포에 대해서도 패턴 엔트로피의 상한과 하한은 날카로우며, 이는 강건성을 보여준다.
• 균일 및 단조 분포에서는 경계가 진짜 패턴 엔트로피를 정확하게 근사하며, 보정 항이 정밀도를 향상시킨다.
• 유도된 경계는 특히 큰 알파벳 영역에서 이전의 유니버설 코딩 부족량 경계보다 날카롭다.