[논문 리뷰] Fluctuations of the Empirical Entropies of a Chain of Infinite Order

Davide Gabrielli, Antonio Galves외 1명|arXiv (Cornell University)|2003. 08. 25.

Mathematical Dynamics and Fractals참고 문헌 10인용 수 9

한 줄 요약

이 논문은 기억 감쇠가 지수적일 경우의 무한 순서 마르코프 체인에서 경험적 엔트로피의 변동 행동을 조사한다. 로그 크기의 실린더 길이를 사용할 때 경험적 조건부 엔트로피에 대해 중심극한정리를 확립하며, 증가하는 실린더 크기를 기반으로 한 스케일링된 경험적 엔트로피가 정규분포로 수렴하지 않는다는 것을 증명함으로써, Iosifescu(1965)가 제기한 열린 문제를 해결한다.

ABSTRACT

This paper addresses the question of the fluctuations of the empirical entropy of a chain of infinite order. We assume that the chain takes values on a finite alphabet and loses memory exponentially fast. We consider two possible definitions for the empirical entropy, both based on the empirical distribution of cylinders with length clog(n), where n is the size of the sample and c is a suitable constant. The first one is the conditional entropy of the empirical distribution, given a past with length growing logarithmically with the size of the sample. The second one is the rescaled entropy of the empirical distribution of the cylinders of size growing logarithmically with the size of the sample. We prove a central limit theorem for the first one. We also prove that the second one does not have Gaussian fluctuations. This solves a problem formulated in Iosifescu (1965).

연구 동기 및 목표

• 무한 순서 마르코프 체인에서 경험적 엔트로피의 渐近적 변동 행동을 분석하기.
• 경험적 엔트로피의 수렴 행동에 관해 Iosifescu(1965)가 제기한 열린 문제를 해결하기.
• 두 가지 경험적 엔트로피 정의를 비교하기: 하나는 경험 분포의 조건부 엔트로피 기반이고, 다른 하나는 경험 실린더 분포의 스케일링된 엔트로피 기반이다.
• 경험적 엔트로피 변동이 渐近적으로 정규분포를 이루는지 여부를 규정하는 조건을 설정하기.

제안 방법

• 두 가지 경험적 엔트로피 추정량 정의: (1) 로그 길이의 과거를 기반으로 한 경험 분포의 조건부 엔트로피, (2) $c\log n$ 길이의 실린더에 대한 경험 분포의 스케일링된 엔트로피.
• 경험적 엔트로피와 진짜 엔트로피의 차이를 세 부분으로 분해: 근접도의 상대 엔트로피, 실린더 함수의 Birkhoff 합, 나머지 항.
• 증가하는 지지 길이를 갖는 실린더 함수에 대해 중심극한정리를 적용하며, 무한 순서 체인의 재생 구조를 활용한다.
• 실린더 함수의 균일한 유계성과 기억 감쇠의 지수성으로 나머지 항을 제어한다.
• Birkhoff 합 성분의 수렴을 통해 조건부 엔트로피 추정량의 渐近적 정규성을 확립한다.
• 광범위한 엔트로피의 수렴 속도가 너무 느려 정규극한이 가능하지 않음을 보여줌으로써, 스케일링된 엔트로피 추정량의 비정규성 변동을 증명한다.

실험 결과

연구 질문

• RQ1 표본 크기 $n$ 과 함께 로그 크기로 증가하는 실린더 길이를 사용할 때, 스케일링된 실린더 분포 기반 경험적 엔트로피가 정규분포로 수렴하는가?
• RQ2 유한 순서 근사의 경험적 조건부 엔트로피가 정규분포로 수렴하는 조건은 무엇인가?
• RQ3 기억 감쇠가 지수적임에도 불구하고 스케일링된 엔트로피 추정량이 정규분포 변동을 보이지 않는 이유는 무엇인가?
• RQ4 표본 크기와 함께 실린더 크기가 증가할 때 경험적 엔트로피의 수렴 속도는 무엇인가?
• RQ5 두 경험적 엔트로피 정의의 차이가 각각의 구성 요소 수렴 속도의 차이로 설명될 수 있는가?

주요 결과

• 표본 크기 $n$ 과 함께 과거 길이가 로그 크기로 증가할 때, 경험적 조건부 엔트로피에 대해 중심극한정리가 성립한다.
• 크기 $c\log n$ 의 실린더 분포 기반 스케일링된 경험적 엔트로피는 정규분포 변동을 보이지 않으며, 이는 Iosifescu(1965)의 열린 문제를 해결한다.
• 조건부 엔트로피 추정량의 수렴 속도는 스케일링된 엔트로피 추정량보다 빠르며, 이는 후자의 경우 상대 엔트로피 성분이 지배하기 때문이다.
• 스케일링된 엔트로피의 경우, 나머지 항 $W_3(n)$ 은 $M \frac{q(n)k(n)}{n}$ 으로 유계이며, $q(n)/k(n) \to \infty$ 이면 $W_1(n)$ 이 무한으로 발산하여 渐近적 정규성을 방해한다.
• 만약 $q(n) = \sqrt{n}$ 이면 두 번째 항 $W_2(n)$ 이 확률적으로 0으로 수렴하지만, $W_1(n)$ 이 발산하므로 동시에 정규성과 나머지 제어를 보장하는 스케일링 인자가 존재하지 않는다.
• 합 $\sum_{i=0}^{\infty}(h_i - h)$ 는 유한하고 0보다 크며, 이는 조건부 엔트로피가 0이 아닌 극한으로 수렴함을 의미하며, 이는 CLT 가 성립하기 위해 필수적이다.