[論文レビュー] On the Entropy Rate of Pattern Processes

G.M. Gemelos, Tsachy Weissman|ArXiv.org|Apr 12, 2005

Cellular Automata and Applications参考文献 12被引用数 6

ひとこと要約

本稿は、i.i.d.、離散マルコフ、離散定常エルゴード、および可算でないアルファベットをもつ定常エルゴード過程の広いクラスに対して、確率過程とそのパターン過程のエントロピー率の関係を完全に特徴づけている。i.i.d.過程では、パターン過程のエントロピー率が元の過程のエントロピー率に等しいことが示され、連続的i.i.d.過程（例：[0,1]一様分布）では、元の過程のエントロピーが無限大であってもパターン過程のエントロピー率はゼロである。また、パターン過程のエントロピー率が無限大である場合のブロックエントロピーの成長率を完全に特徴づけている。

ABSTRACT

We study the entropy rate of pattern sequences of stochastic processes, and its relationship to the entropy rate of the original process. We give a complete characterization of this relationship for i.i.d. processes over arbitrary alphabets, stationary ergodic processes over discrete alphabets, and a broad family of stationary ergodic processes over uncountable alphabets. For cases where the entropy rate of the pattern process is infinite, we characterize the possible growth rate of the block entropy.

研究の動機と目的

• 確率過程のエントロピー率とその関連するパターン過程のエントロピー率との根本的関係を特定すること。
• 元の過程のエントロピーが無限大である場合に、パターン過程のエントロピー率が有限または無限大である可能性を解消すること。
• エントロピー率が無限大である場合の、パターン過程のブロックエントロピーの達成可能な成長率を特徴づけること。
• i.i.d.および有限アルファベット過程に関する先行研究を、可算でないアルファベットを持つ記憶付き過程にまで拡張すること。
• 元のソースに比べてパターン列に保持される情報量を統一的に理解する理論的枠組みを提供すること。

提案手法

• X_i の記号の最初の出現順位を用いて、パターン過程 Z_i を定義する再ラベル化技術を用いる。
• 未発見の記号をダミー記号 xo に置き換えることで、エントロピー率の等価性を保つ変更済みi.i.d.過程 ˜X_i を導入する。
• 有限部分集合 B のサポート上での経験分布のエントロピーを捉える関数 ΦB[fX] を用いて、変動原理とエントロピーの上限を適用する。
• 条件付きエントロピー H(Z_{n+1}|Z_n) における下限および上限の議論を用いて、エントロピー率の上限を導出する。
• 重い尾を持つ分布（例：p_i ∝ 1/(i (ln i)^{1+ε})) の漸近的解析を用いて、H(Z_{n+1}|Z_n) の下限を得る。
• 積分比較と対数近似を用いて、D_l（切断分布のエントロピー）の成長を抑え、それがパターン過程のエントロピー率と関連することを示す。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.過程とそのパターン過程のエントロピー率の正確な関係は何か？
• RQ2 元の過程のエントロピーが無限大である場合に、パターン過程のエントロピー率が有限であることは可能か？
• RQ3 有限または可算アルファベット上で定義された離散定常エルゴード過程について、パターン過程のエントロピー率はどのように振る舞うか？
• RQ4 エントロピー率が無限大である場合の、パターン過程のブロックエントロピーの達成可能な成長率は何か？
• RQ5 記憶付きの可算でないアルファベット過程（例：マルコフ過程や加法的ノイズモデル）について、パターン過程のエントロピー率はどのように振る舞うか？

主な発見

• 任意のアルファベットを持つi.i.d.過程に対して、パターン過程のエントロピー率 H(Z) は、元の過程のエントロピー率 H(X) に等しく、アルファベットが有限であっても無限大であっても成り立つ。
• 連続的i.i.d.過程（例：[0,1]一様分布）では、H(X) = ∞ であるが H(Z) = 0 であるため、エントロピーが非常に高いにもかかわらず、パターン過程は情報を持たないことが示された。
• 離散定常エルゴード過程に対しては、パターン過程のエントロピー率は、サポート上での経験分布のエントロピーの下限で抑えられ、H(Z_{n+1}|Z_n) の極限下限は H(Φ_S[f_X]) 以上である。
• べき則の尾を持つ分布（例：p_i ∝ 1/(i (ln i)^{1+ε}）に対しては、条件付きエントロピー H(Z_{n+1}|Z_n) は、ある定数 c > 0 に対して c (log n)^{1−ε} 以上で増加し、パターン過程のエントロピー率が無限大であることを示唆する。
• H(Z) = ∞ の場合、ブロックエントロピー H(Z_n) は任意の ε ∈ (0,1) に対して (log n)^{1−ε} 以上で増加し、特定の重い尾を持つ分布のもとでこの成長率は達成可能である。
• 本稿は、パターン過程のエントロピー率が元の過程のサポートのエントロピーによって完全に決定されることを確立し、極限状態で鋭い境界を与える。