[論文レビュー] Information, complexity and entropy: a new approach to theory and measurement methods

Benci, Claudio Bonanno+3 more|arXiv (Cornell University)|Jul 10, 2001

Computability, Logic, AI Algorithms参考文献 23被引用数 10

ひとこと要約

本稿では、動的系における単一の軌道から直接コルモゴロフ・シンアイ（K-S）エントロピーを測定可能な、計算可能で圧縮に基づく情報および複雑性の定義を提示する。データ圧縮アルゴリズムを活用することで、ゼロのK-Sエントロピーを示す系ですら、従来の理論的限界を超えて混沌とした振る舞いを実用的に計算可能にする。

ABSTRACT

In this paper, we present some results on information, complexity and entropy as defined below and we discuss their relations with the Kolmogorov-Sinai entropy which is the most important invariant of a dynamical system. These results have the following features and motivations: -we give a new computable definition of information and complexity which allows to give a computable characterization of the K-S entropy; -these definitions make sense even for a single orbit and can be measured by suitable data compression algorithms; hence they can be used in simulations and in the analysis of experimental data; -the asymptotic behavior of these quantities allows to compute not only the Kolmogorov-Sinai entropy but also other quantities which give a measure of the chaotic behavior of a dynamical system even in the case of null entropy.

研究の動機と目的

• 個々のシステム軌道に適用可能な、計算可能な情報および複雑性の定義を構築すること。
• 実用的でアルゴリズム的な手法を用いて、単一の軌道からコルモゴロフ・シンアイエントロピーを測定可能にする。
• 従来の手法が失敗するゼロのK-Sエントロピーを示す系に対しても、混沌としたダイナミクスの特徴付けを拡張すること。
• シミュレーションおよび実験に適した、測定可能で実用的な動的複雑性の定量化手法を提供すること。
• 圧縮に基づく指標を通じて、アルゴリズム的情報理論と動的系との間に接続を確立すること。

提案手法

• 単一の軌道の軌道データのアルゴリズム的圧縮可能性に基づいて、情報および複雑性を定義する。
• データ圧縮アルゴリズム（例：レームペル・ツィブ）を、アルゴリズム的複雑性の代理として用い、情報量を推定する。
• 軌道の漸近的圧縮レートに基づいて、コルモゴロフ・シンアイエントロピーの計算可能な近似を導出する。
• ゼロのK-Sエントロピーを示す系において、弱い混沌や非エルゴード的振る舞いの検出にこのフレームワークを拡張する。
• 圧縮率の漸近的挙動を分析し、長期的なダイナミクス的複雑性を推論する。
• シミュレーションおよび実験的時系列データを用いて、手法のロバストネスと正確性を評価する。

実験結果

リサーチクエスチョン

• RQ1 情報および複雑性は、個々のシステム軌道に適用可能な計算可能な方法で定義可能か？
• RQ2 アルゴリズム的圧縮を用いて、単一の軌道からコルモゴロフ・シンアイエントロピーをどのように推定できるか？
• RQ3 このフレームワークは、K-Sエントロピーがゼロである系においても混沌とした振る舞いを検出可能か？
• RQ4 決定的系において、圧縮効率とダイナミクス的複雑性の関係は何か？
• RQ5 データ圧縮アルゴリズムは、実世界のデータにおいて、エントロピーと複雑性の実用的測定にどの程度有効に機能するか？

主な発見

• 提示された情報および複雑性の定義は計算可能であり、個々の軌道に適用可能で、実データの実用的分析を可能にする。
• 軌道の漸近的圧縮レートが、コルモゴロフ・シンアイエントロピーの直接的な推定値を提供する。
• 本手法は、ゼロのK-Sエントロピーを示す系においても、混沌としたダイナミクスを効果的に検出でき、隠れた複雑性を明らかにする。
• フレームワークにより、標準的な圧縮ツールを用いて、シミュレーションおよび実験的時系列における動的複雑性の測定が可能になる。
• 従来のエルゴード理論的エントロピー計算に代わる、ロバストでアルゴリズム的な代替手法を提供する。
• 結果から、圧縮に基づく指標が、古典的エントロピー定義の範囲外にある微細な混沌とした振る舞いを捉えることができることが示された。