[論文レビュー] The Past and the Future in the Present

James P. Crutchfield, Christopher J. Ellison|arXiv (Cornell University)|Dec 2, 2010

Chaos control and synchronization参考文献 18被引用数 5

ひとこと要約

本稿は、確率的過程の過剰エントロピーが、その予測的および後知的因果状態間の相互情報量に等しいことを、きめ細やかで段階的な証明を提供する—観測可能な統計的依存性と力学系の内部構造との間の根本的関係を確立する。解析は、有限長因果状態とその極限に注目することで、過剰エントロピーの推定における微妙な問題を解消し、同期化と情報測度が複雑系モデリングにおける役割を明確にする。

ABSTRACT

We show how the shared information between the past and future---the excess entropy---derives from the components of directional information stored in the present---the predictive and retrodictive causal states. A detailed proof allows us to highlight a number of the subtle problems in estimation and analysis that impede accurate calculation of the excess entropy.

研究の動機と目的

• 過剰エントロピーと予測的および後知的因果状態間の相互情報量の間の関係を示す、詳細かつアクセス可能な証明 E = I[S⁺; S⁻] を提供すること。
• 確率的過程における過剰エントロピーおよび統計的複雑性の推定における分析的および実証的課題を明確にすること。
• 有限長因果状態が正確な同期化のもとで漸近的因果状態に収束することを示し、情報理論的量の信頼性ある計算を可能にすること。
• 4変数相互情報量および確率的過程の極限的挙動にかかわる先行研究における曖昧さを解消すること。
• 概念的および計算上の落とし穴を避けるために、無限の量（例：H[X̄]）ではなく有限の原子（例：相互情報量）を情報図分析に用いるべきであることを提唱すること。

提案手法

• 長さ K の過去および長さ L の未来に対する有限長因果状態を導入し、予測的および後知的因果状態写像 ε⁺ および ε⁻ を構築する。
• 有限長予測的および後知的因果状態間の相互情報量を定義し、K, L → ∞ の極限を取る。
• 正確な同期化の概念を用いて、有限長因果状態が測度ゼロの集合上で漸近的因果状態に収束することを保証する。
• 情報図技術を用いて、過去、未来、および因果状態の関係を可視化し、無限の原子を有限で測定可能な情報測度に置き換える。
• 補題を用いて、特定の条件付き相互情報量が消えることを示し、情報図を単純化し、有限近似の有効性を検証する。
• 有限で再帰的かつ正確に同期化される ε-マシンの条件下で、過剰エントロピー E が I[S⁺; S⁻] に等しいことを確立する。

実験結果

リサーチクエスチョン

• RQ1 確率的過程の過剰エントロピーは、その因果状態の内部構造とどのように関係しているか？
• RQ2 有限長因果状態が理論的定式化で用いられる漸近的因果状態に収束するための条件は何か？
• RQ3 なぜ先行研究における E = I[S⁺; S⁻] の導出は曖昧さを伴い、限界手続きを注意深く行うことでどのように解消できるか？
• RQ4 因果状態の有限近似は、過剰エントロピーおよび統計的複雑性の推定をどのように改善するか？
• RQ5 情報図は、H[X̄] や H[X̄] のような無限の情報測度による誤りを回避するために、どのように利用できるか？

主な発見

• 正確に同期化され、有限の因果状態を持つ ε-マシンの仮定のもとで、過剰エントロピー E は、予測的および後知的因果状態間の相互情報量に正確に等しい：E = I[S⁺; S⁻]。
• ε-マシンが正確に同期化されており、有限個の再帰的状態を持つ限り、有限長因果状態は K, L → ∞ の極限で漸近的因果状態に収束する。
• 漸近的因果状態の数が有限であっても、有限長因果状態の数は発散する可能性があるため、限界手続きに注意を払う必要がある。
• 有限長の履歴および未来に基づく情報図は、無限の情報原子を有限に表現するという概念的欠陥を回避し、分析的厳密性を向上させる。
• 相互情報量や条件付き相互情報量といった有限の情報原子の使用は、H[X̄] や H[X̄] のような無限の量に依存するのとは対照的に、理論的導出においてより頑健であることが示された。
• 証明により、過去と未来の共有情報が、予測的および後知的因果状態を通じて現在に蓄えられた情報によって完全に説明可能であることが明らかになった。