[論文レビュー] Fluctuations of the Empirical Entropies of a Chain of Infinite Order

Davide Gabrielli, Antonio Galves+1 more|arXiv (Cornell University)|Aug 25, 2003

Mathematical Dynamics and Fractals参考文献 10被引用数 9

ひとこと要約

本稿は、指数的記憶減衰を示す無限次元の定常有限アルファベットマルコフ連鎖における経験エントロピーの揺動挙動を調査する。対数的に増加するシリンダ長を用いて、経験的条件付きエントロピーの中心極限定理を確立する一方で、増加するシリンダサイズに基づくスケーリング済み経験エントロピーは正規分布に収束しないことを証明し、1965年にイオシフェスクが提起した未解決問題を解決する。

ABSTRACT

This paper addresses the question of the fluctuations of the empirical entropy of a chain of infinite order. We assume that the chain takes values on a finite alphabet and loses memory exponentially fast. We consider two possible definitions for the empirical entropy, both based on the empirical distribution of cylinders with length clog(n), where n is the size of the sample and c is a suitable constant. The first one is the conditional entropy of the empirical distribution, given a past with length growing logarithmically with the size of the sample. The second one is the rescaled entropy of the empirical distribution of the cylinders of size growing logarithmically with the size of the sample. We prove a central limit theorem for the first one. We also prove that the second one does not have Gaussian fluctuations. This solves a problem formulated in Iosifescu (1965).

研究の動機と目的

• 無限次元で記憶減衰が指数的である連鎖における経験エントロピーの漸近的揺動を分析すること。
• 経験エントロピーの収束性がサンプルサイズとともに増加するシリンダサイズに従ってどのように変化するかという、1965年にイオシフェスクが提起した未解決問題を解明すること。
• 経験分布の条件付きエントロピーに基づく定義と、経験的シリンダ分布のスケーリング済みエントロピーに基づく定義という、2つの経験エントロピー定義を比較すること。
• 経験エントロピーの揺動が漸近的に正規分布に従うか、そうでないかの条件を確立すること。

提案手法

• 2つの経験エントロピー推定子を定義する：(1) 対数的長さの過去を条件とした経験分布の条件付きエントロピー、(2) サイズ $c\log n$ のシリンダにおける経験分布のスケーリング済みエントロピー。
• 経験エントロピーと真のエントロピーの差を3つの成分に分解する：周辺分布間の相対エントロピー、シリンダ関数のバーゲルフ和、および剰余項。
• 支持長が増加するシリンダ関数に対する中心極限定理を適用し、無限次元連鎖の再生的構成に依存する。
• シリンダ関数の一様有界性と記憶の指数的減衰を用いて、剰余項を制御する。
• バーゲルフ和成分の収束を用いて、条件付きエントロピー推定子の漸近的正規性を確立する。
• スケーリング済みエントロピー推定子の非正規揺動を示すために、広義エントロピーの収束速度が正規極限を許容するには遅すぎるということを示す。

実験結果

リサーチクエスチョン

• RQ1 サンプルサイズ $n$ とともに対数的に増加するシリンダ長を用いた場合、スケーリング済みシリンダ分布に基づく経験エントロピーは正規分布に収束するか？
• RQ2 有限次元近似の経験的条件付きエントロピーが正規分布に収束する条件は何か？
• RQ3 記憶が指数的減衰を示すにもかかわらず、なぜスケーリング済みエントロピー推定子は正規揺動を示さないのか？
• RQ4 サンプルサイズとともにシリンダサイズが増加する際の経験エントロピーの収束速度は何か？
• RQ5 2つの経験エントロピー定義の差は、それぞれの成分の収束速度の違いによって説明可能か？

主な発見

• サンプルサイズ $n$ とともに対数的に増加する過去長を用いた場合、経験的条件付きエントロピーに対して中心極限定理が成立する。
• サイズ $c\log n$ のシリンダ分布に基づくスケーリング済み経験エントロピーは正規揺動を示さず、これによりイオシフェスク（1965）の未解決問題が解決される。
• 条件付きエントロピー推定子の収束速度は、スケーリング済みエントロピー推定子よりも速く、これは後者の支配的成分が相対エントロピーであるためである。
• スケーリング済みエントロピーに関して、剰余項 $W_3(n)$ は $M \frac{q(n)k(n)}{n}$ で有界であり、$q(n)/k(n) \to \infty$ ならば $W_1(n)$ は無限大に発散するため、漸近的正規性は成立しない。
• $q(n) = \sqrt{n}$ のとき、2番目の項 $W_2(n)$ は確率的にゼロに収束するが、$W_1(n)$ は発散するため、正規性と剰余項の制御を同時に満たすスケーリング係数は存在しない。
• 和 $\sum_{i=0}^{\infty}(h_i - h)$ は有限かつ正であり、これは条件付きエントロピーがゼロでない極限に収束することを示し、これはCLTが成立する上で不可欠である。