[論文レビュー] Predictive Information

William Bialek, Naftali Tishby|ArXiv.org|Feb 25, 1999

Statistical Mechanics and Entropy被引用数 26

ひとこと要約

本稿では、過去と未来のデータストリーム間の相互情報量として定義される予測情報という、時系列における複雑性の尺度を導入する。予測情報の発散する部分的拡張的でない成分が、不変性原理の下でモデルの複雑性を一意に定量化することを示しており、局所的信号変換に対して不変である情報理論的で一貫性のある動的豊かさの尺度を提供する。

ABSTRACT

Observations on the past provide some hints about what will happen in the future, and this can be quantified using information theory. The ``predictive information'' defined in this way has connections to measures of complexity that have been proposed both in the study of dynamical systems and in mathematical statistics. In particular, the predictive information diverges when the observed data stream allows us to learn an increasingly precise model for the dynamics that generate the data, and the structure of this divergence measures the complexity of the model. We argue that divergent contributions to the predictive information provide the only measure of complexity or richness that is consistent with certain plausible requirements.

研究の動機と目的

• 局所的変換に対して不変である一貫性のある情報理論的複雑性測度を、力学系に定義すること。
• 時系列における観測データから予測に有用な情報と無関係な情報を区別する問題に取り組むこと。
• 長距離相関を持つ臨界点においても、それらの動的豊かさを捉える唯一の成分としての予測情報の特徴を特定すること。
• 統計力学、情報理論、力学系の概念を統合し、複雑性を予測情報の発散に根拠を置くこと。

提案手法

• 予測情報を、時間窓長 $ T $ の間のエントロピー $ S(T) $ を用いて、$ I_{\text{pred}}(T) = 2S(T) - S(2T) $ として定義する。
• 連続極限における良好な振る舞いを保証するため、基準分布 $ Q[x(t)] $ を用いた相対エントロピーを定義し、座標不変性を確保する。
• 基準分布 $ Q[x(t)] $ を局所的演算子（例：短距離相関）から構成されるものに制限することで、相転移の不在と拡張性を保証する。
• 予測情報 $ I_{\text{pred}}(T) $ の発散する部分的拡張的でない成分が、局所的演算子から構成されるすべての基準分布に対して不変である唯一の複雑性測度であることを特定する。
• この発散成分が、$ T \to \infty $ のとき、基礎となる動的挙動について学習可能な情報量を捉えていることを確立する。特に、長時間相関を持つ系において顕著である。
• 不変性原理を用いて複雑性測度の曖昧さを排除し、発散する部分的拡張的でない項が物理的に意味を持つ唯一のものであることを示す。

実験結果

リサーチクエスチョン

• RQ1 信号の局所的再パラメータ化に対して不変である予測情報のどの成分が複雑性を測るのに特化しているのか。その理由は何か。
• RQ2 予測情報 $ I_{\text{pred}}(T) $ は $ T \to \infty $ のときどのように漸近的に振る舞い、その発散は基礎となる動的挙動に何を明らかにするか。
• RQ3 なぜ予測情報は部分的拡張的でなく、これにより観測データの大部分が将来の予測に無関係であると示唆されるのか。
• RQ4 時系列の連続極限において、複雑性測度を一意に定義できるか。その場合、どのような不変性条件下で可能か。
• RQ5 予測情報と力学系および統計学における既存の複雑性測度との関係は何か。

主な発見

• 予測情報 $ I_{\text{pred}}(T) $ は部分的拡張的であり、$ \lim_{T\to\infty} I_{\text{pred}}(T)/T = 0 $ であるため、合計情報のうち予測に寄与する割合はゼロに近づく。
• 長距離相関や臨界的挙動を示す系では、$ I_{\text{pred}}(T) $ は $ \sim \mu \ln T $ のように対数的に発散し、動的挙動の学習可能性が増加することを示している。
• 予測情報 $ I_{\text{pred}}(T) $ の発散する部分的拡張的でない成分は、局所的演算子から構成される基準分布の変更に対して不変である唯一の複雑性測度である。
• この発散成分は、観測時間の延長に伴い、基礎となる動的挙動について学習可能な情報量を定量化する。
• 局所的信号変換（例：局所的再パラメータ化や綴りの変更）に対して不変であるため、観測者に依存する期待値に対してロバストである。
• この枠組みは、予測情報の発散部分を根本的な複雑性測度として特定することで、情報理論的、統計的、力学系的視点を統合する。