[論文レビュー] Permutation Excess Entropy and Mutual Information between the Past and Future

Taichi Haruna, Kohei Nakajima|arXiv (Cornell University)|Dec 12, 2011

Cellular Automata and Applications参考文献 19被引用数 6

ひとこと要約

この論文は、有限状態の定常エルゴードマルコフ過程において、順序付けられたエントロピー（パーミュテーション過剰エントロピー）が、時系列の過去と未来の順序型（パーミュテーションタイプ）間の相互情報量に等しいことを確立している。値列とその順序パターンの間の双対性を用いて、パーミュテーション過剰エントロピー——順序のレベルでの長距離依存性を測る——が、置換の空間における予測可能性（アンチシペーション）として解釈できることを証明している。これは、標準的な過剰エントロピーが値ベースのシステムにおいて果たす役割と類似している。

ABSTRACT

We address the excess entropy, which is a measure of complexity for stationary time series, from the ordinal point of view. We show that the permutation excess entropy is equal to the mutual information between two adjacent semi-infinite blocks in the space of orderings for finite-state stationary ergodic Markov processes. This result may shed a new light on the relationship between complexity and anticipation.

研究の動機と目的

• パーミュテーション過剰エントロピー——順序パターンに基づく複雑性測度——が、時系列におけるグローバル相関を捉えられるかを調査すること。
• 値列とそのパーミュテーションタイプの間の双対性が、システムの複雑性を定量化する上で果たす役割を調査すること。
• パーミュテーション空間におけるパーミュテーション過剰エントロピーと相互情報量の正式な関係を確立すること。
• 順序パターンが、標準的な過剰エントロピーと類似した方法で長距離依存性を符号化できることを示すこと。

提案手法

• 著者らは、各語をその一意な順序パターンに割り当てる写像 φ を用いて定義される、値列とそのパーミュテーションタイプの間の双対性を用いる。
• パーミュテーション過剰エントロピーを、連結されたパーミュテーションブロックのエントロピーとそれら個々のエントロピーの和の差の極限として定義する。
• 鍵となる技術的道具は、補題8であり、これは二項係数と前像集合のサイズを用いて、結合エントロピーと周辺エントロピーの差を評価する。
• 有限状態の定常エルゴードマルコフ過程において、非一意なパーミュテーションタイプの確率が指数関数的に減少することを示し、これにより極限が収束することを保証する。
• 証明は、パーミュテーションタイプ上の条件付き分布と周辺分布の間のカルバック・ライブラー距離を用いて、エントロピー差の上限を求める。
• 主な結果は、パーミュテーション空間における過剰エントロピーが、隣接する半無限ブロックのパーミュテーションタイプ間の相互情報量に収束することを示すことによって得られる。

実験結果

リサーチクエスチョン

• RQ1 パーミュテーション過剰エントロピーは、順序パターンの空間におけるグローバル相関の尺度として解釈可能か？
• RQ2 定常確率過程において、値ベースと順序ベースの複雑性測度の間に双対性が存在するか？
• RQ3 マルコフ過程において、過去と未来のパーミュテーションタイプ間の相互情報量は、パーミュテーション過剰エントロピーに等しいか？
• RQ4 非一意なパーミュテーションタイプの減少率は、パーミュテーション過剰エントロピーの収束にどのように影響するか？

主な発見

• 有限状態の定常エルゴードマルコフ過程において、パーミュテーション過剰エントロピーは、正確に過去と未来のパーミュテーションタイプ間の相互情報量に等しい。
• 相互情報量の式は、ブロック長 L が無限大に近づく極限において成り立つことが確認され、パーミュテーション過剰エントロピーが順序レベルでの予測可能性を測定することを裏付けた。
• 結合エントロピーと周辺エントロピーの差は、ある 0 < α < 1 に対して O(α^L) で有界であり、極限の収束を保証する。
• エントロピー差の上限は、非一意なパーミュテーションタイプの数に依存し、これは二項係数によって制御され、L とともに指数関数的に減少する。
• この結果により、パーミュテーション過剰エントロピーが、標準的な過剰エントロピーと同様に、順序表現における長距離依存性を捉えていることが確認された。