[논문 리뷰] On the Entropy Rate of Pattern Processes

G.M. Gemelos, Tsachy Weissman|ArXiv.org|2005. 04. 12.

Cellular Automata and Applications참고 문헌 12인용 수 6

한 줄 요약

이 논문은 i.i.d., 이산 마르코프, 이산 정적 에르고딕, 그리고 비가чёт 알파벳 정적 에르고딕 과정의 넓은 범주에 대해 확률과정과 그 패턴과정 간의 엔트로피율 관계를 완전히 규명한다. i.i.d. 과정의 경우 패턴과정의 엔트로피율은 원본 과정의 엔트로피율과 동일하며, 연속적인 i.i.d. 과정인 [0,1] 균일분포의 경우 원본 엔트로피는 무한대이지만 패턴 엔트로피율은 0임을 보이며, 패턴 엔트로피율이 무한대일 경우 블록 엔트로피의 성장률을 완전히 규명한다.

ABSTRACT

We study the entropy rate of pattern sequences of stochastic processes, and its relationship to the entropy rate of the original process. We give a complete characterization of this relationship for i.i.d. processes over arbitrary alphabets, stationary ergodic processes over discrete alphabets, and a broad family of stationary ergodic processes over uncountable alphabets. For cases where the entropy rate of the pattern process is infinite, we characterize the possible growth rate of the block entropy.

연구 동기 및 목표

• 확률과정의 엔트로피율과 그 관련 패턴과정 간의 기본적 관계를 규명하기 위해.
• 원본 과정의 엔트로피가 무한대일 때 패턴과정의 엔트로피율이 유한하거나 무한대일 수 있는지에 대한 열린 문제를 해결하기 위해.
• 엔트로피율이 무한대일 경우 패턴과정의 블록 엔트로피가 가질 수 있는 성장률을 규명하기 위해.
• 이전의 i.i.d. 및 유한알파벳 과정에 대한 결과를 비가取得以及 알파벳 과정과 기억이 있는 과정으로 확장하기 위해.
• 원본 소스에 비해 패턴 시퀀스에 얼마나 많은 정보가 유지되는지 이해하기 위한 통합 이론적 프레임워크를 제공하기 위해.

제안 방법

• 기호 X_i에서의 첫 등장 순서를 기반으로 패턴과정 Z_i를 정의하기 위해 재라벨링 기법을 사용한다.
• 엔트로피율 등가성을 유지하기 위해, 아직 보이지 않은 기호를 더미 기호 xo로 대체하는 수정된 i.i.d. 과정 ˜X_i를 도입한다.
• 유한 부분집합 B의 지지집합 위에서의 경험분포 엔트로피를 캡처하는 함수 ΦB[fX]를 통해 변동 원리와 엔트로피 경계를 적용한다.
• 조건부 엔트로피 H(Z_{n+1}|Z_n)에 대한 하한 및 상한 근접 근사를 통해 엔트로피율 경계를 유도한다.
• 중심극한법칙에 기반한 무거운 尾 꼬리 분포(예: p_i ∝ 1/(i (ln i)^{1+ε}))의 점근적 분석을 통해 H(Z_{n+1}|Z_n)의 하한을 유도한다.
• 적분 비교 및 로그 근사 기법을 적용하여 D_l, 즉 잘라낸 분포의 엔트로피 성장률을 유계화하고, 이를 패턴과정의 엔트로피율과 연결한다.

실험 결과

연구 질문

• RQ1 i.i.d. 과정과 그 패턴과정 간의 엔트로피율 정확한 관계는 무엇인가?
• RQ2 원본 과정의 엔트로피가 무한대일 때 패턴과정의 엔트로피율이 유한해질 수 있는가?
• RQ3 유한 또는 가산 알파벳에서의 이산 정적 에르고딕 과정에 대해 패턴과정의 엔트로피율은 어떻게 행동하는가?
• RQ4 엔트로피율이 무한대일 경우 패턴과정의 블록 엔트로피가 가질 수 있는 성장률은 무엇인가?
• RQ5 메모리가 있는 비가取得以及 알파벳 과정(예: 마르코프 또는 덧셈 노이즈 모델)에 대해 패턴과정의 엔트로피율은 어떻게 행동하는가?

주요 결과

• 임의의 알파벳을 가진 i.i.d. 과정에 대해, 패턴과정의 엔트로피율 H(Z)는 원본 과정의 엔트로피율 H(X)와 동일하며, 알파벳이 유한한지 무한한지에 관계없이 동일하다.
• 연속적인 균일분포 [0,1]을 가진 i.i.d. 과정의 경우 H(X) = ∞ 이지만 H(Z) = 0 이며, 이는 원본 과정이 매우 불확실하더라도 패턴과정이 정보를 전혀 지니지 못할 수 있음을 보여준다.
• 이산 정적 에르고딕 과정의 경우 패턴과정의 엔트로피율은 지지집합 위의 경험분포 엔트로피보다 항상 아래로 제한되며, H(Z_{n+1}|Z_n)의 극한 하한은 적어도 H(Φ_S[f_X]) 이상이다.
• 파워-법칙 꼬리 분포(예: p_i ∝ 1/(i (ln i)^{1+ε}))를 가진 분포의 경우 조건부 엔트로피 H(Z_{n+1}|Z_n)는 어떤 상수 c > 0에 대해 적어도 c (log n)^{1−ε} 의 속도로 증가하므로, 패턴과정의 엔트로피율은 무한대임을 의미한다.
• H(Z) = ∞ 인 경우, 블록 엔트로피 H(Z_n)는 임의의 ε ∈ (0,1)에 대해 적어도 (log n)^{1−ε} 의 속도로 증가하며, 이 성장률은 특정한 무거운 꼬리 분포 하에서 달성 가능하다.
• 이 논문은 패턴과정의 엔트로피율이 원본 과정의 지지집합의 엔트로피에 의해 완전히 결정됨을 규명하였으며, 한계 경우에서 정확한 경계를 제공한다.