[论文解读] Information, complexity and entropy: a new approach to theory and measurement methods

Benci, Claudio Bonanno+3 more|arXiv (Cornell University)|Jul 10, 2001

Computability, Logic, AI Algorithms参考文献 23被引用 10

一句话总结

本文提出了一种可计算的、基于压缩的資訊與複雜度定義，能直接從動態系統的單一軌跡測量柯爾莫哥洛夫-辛釆（K-S）熵。透過利用資料壓縮演算法，該方法使即使在 K-S 熵為零的系統中，也能實際計算混沌行為，突破傳統理論的限制。

ABSTRACT

In this paper, we present some results on information, complexity and entropy as defined below and we discuss their relations with the Kolmogorov-Sinai entropy which is the most important invariant of a dynamical system. These results have the following features and motivations: -we give a new computable definition of information and complexity which allows to give a computable characterization of the K-S entropy; -these definitions make sense even for a single orbit and can be measured by suitable data compression algorithms; hence they can be used in simulations and in the analysis of experimental data; -the asymptotic behavior of these quantities allows to compute not only the Kolmogorov-Sinai entropy but also other quantities which give a measure of the chaotic behavior of a dynamical system even in the case of null entropy.

研究动机与目标

• 發展一種適用於單一系統軌跡而非僅整體平均值的可計算資訊與複雜度定義。
• 透過實用的演算法方法，實現從單一軌跡測量柯爾莫哥洛夫-辛釆熵。
• 將混沌動力學的特徵化延伸至 K-S 熵為零的系統，此類系統傳統方法會失效。
• 提供一種可量測、適合模擬與實驗的動態複雜度量化方法。
• 透過基於壓縮的指標，建立算法資訊理論與動態系統之間的連結。

提出的方法

• 透過單一軌跡軌跡資料的算法可壓縮性定義資訊與複雜度。
• 使用資料壓縮演算法（例如 Lempel-Ziv）作為算法複雜度的代理指標，以估計資訊含量。
• 根據軌跡的漸近壓縮率，推導出柯爾莫哥洛夫-辛釆熵的可計算近似值。
• 將此框架延伸至偵測 K-S 熵為零的系統中之弱混沌或非遍歷行為。
• 分析壓縮率的漸近行為，以推斷長期動態複雜度。
• 在模擬與實驗時間序列上驗證該方法，以評估其穩健性與準確性。

实验结果

研究问题

• RQ1 資訊與複雜度能否以一種可計算且適用於單一系統軌跡的方式定義？
• RQ2 如何利用算法壓縮從單一軌跡估計柯爾莫哥洛夫-辛釆熵？
• RQ3 此框架能否偵測到 K-S 熵為零的系統中的混沌行為？
• RQ4 在決定性系統中，壓縮效率與動態複雜度之間的關係為何？
• RQ5 資料壓縮演算法在現實世界資料中，能在多大程度上作為熵與複雜度的實用衡量指標？

主要发现

• 所提出的資訊與複雜度定義具備可計算性，且適用於單一軌跡，使真實資料的實務分析成為可能。
• 軌跡的漸近壓縮率可直接提供柯爾莫哥洛夫-辛釆熵的估計值。
• 該方法成功偵測到 K-S 熵為零的系統中的混沌動態，揭示了隱藏的複雜性。
• 此框架允許使用標準壓縮工具，在模擬與實驗時間序列中測量動態複雜度。
• 該方法提供了傳統遍歷理論熵計算的穩健、演算法替代方案。
• 結果顯示，基於壓縮的衡量指標能捕捉到古典熵定義無法涵蓋的微弱混沌行為。