[论文解读] Fluctuations of the Empirical Entropies of a Chain of Infinite Order

Davide Gabrielli, Antonio Galves+1 more|arXiv (Cornell University)|Aug 25, 2003

Mathematical Dynamics and Fractals参考文献 10被引用 9

一句话总结

本文研究了在指数记忆衰减的无限阶有限字母马尔可夫链中，经验微熵的波动行为。通过采用对数增长的块长度，建立了经验条件微熵的中心极限定理，同时证明了基于递增块大小的经验微熵经缩放后不收敛于高斯分布——从而解决了Iosifescu（1965）提出的一个开放问题。

ABSTRACT

This paper addresses the question of the fluctuations of the empirical entropy of a chain of infinite order. We assume that the chain takes values on a finite alphabet and loses memory exponentially fast. We consider two possible definitions for the empirical entropy, both based on the empirical distribution of cylinders with length clog(n), where n is the size of the sample and c is a suitable constant. The first one is the conditional entropy of the empirical distribution, given a past with length growing logarithmically with the size of the sample. The second one is the rescaled entropy of the empirical distribution of the cylinders of size growing logarithmically with the size of the sample. We prove a central limit theorem for the first one. We also prove that the second one does not have Gaussian fluctuations. This solves a problem formulated in Iosifescu (1965).

研究动机与目标

• 分析具有指数记忆衰减的无限阶链中经验微熵的渐近波动行为。
• 解决Iosifescu（1965）关于当块大小随样本大小增长时经验微熵收敛行为的开放问题。
• 比较两种经验微熵的定义：一种基于经验分布的条件微熵，另一种基于经验块分布的缩放微熵。
• 建立经验微熵波动渐近正态或非正态的条件。

提出的方法

• 定义两种经验微熵估计量：(1) 基于对数长度历史的经验分布的条件微熵；(2) 基于长度为$c\log n$的块的经验分布的缩放微熵。
• 将经验微熵与真实微熵之间的差异分解为三部分：边际分布之间的相对熵、块函数的Birkhoff和以及余项。
• 对支持长度递增的块函数应用中心极限定理，依赖于无限阶链的再生构造。
• 利用块函数的一致有界性与指数记忆衰减，控制余项。
• 通过Birkhoff和分量的收敛性，建立条件微熵估计量的渐近正态性。
• 通过证明广延微熵的收敛速度过慢，无法支持高斯极限，从而证明缩放微熵估计量的非高斯波动。

实验结果

研究问题

• RQ1 当块长度随样本大小对数增长时，基于缩放块分布的经验微熵是否收敛于高斯分布？
• RQ2 在何种条件下，有限阶近似下的经验条件微熵收敛于正态分布？
• RQ3 尽管链具有指数记忆衰减，为何缩放微熵估计量未能表现出高斯波动？
• RQ4 当块大小随样本大小增加时，经验微熵的收敛速率是多少？
• RQ5 两种经验微熵定义之间的差异是否可由其各自分量收敛速率的不同来解释？

主要发现

• 当历史长度随样本大小$n$对数增长时，经验条件微熵的中心极限定理成立。
• 基于长度为$c\log n$的块分布的经验缩放微熵不表现出高斯波动，从而解决了Iosifescu（1965）的开放问题。
• 条件微熵估计量的收敛速度比缩放微熵估计量更快，原因在于后者的相对熵分量占主导地位。
• 对于缩放微熵，余项$W_3(n)$有界于$M \frac{q(n)k(n)}{n}$，且当$q(n)/k(n) \to \infty$时，$W_1(n)$发散至无穷，从而阻止渐近正态性。
• 当$q(n) = \sqrt{n}$时，第二项$W_2(n)$以概率收敛于零，但$W_1(n)$发散，表明不存在一个缩放因子能同时保证正态性与余项控制。
• 级数$\sum_{i=0}^{\infty}(h_i - h)$收敛且严格为正，意味着条件微熵收敛于非零极限，这对中心极限定理的成立至关重要。