[论文解读] Permutation Excess Entropy and Mutual Information between the Past and Future

Taichi Haruna, Kohei Nakajima|arXiv (Cornell University)|Dec 12, 2011

Cellular Automata and Applications参考文献 19被引用 6

一句话总结

该论文证明，对于有限状态的平稳遍历马尔可夫过程，排列超额熵等于时间序列过去与未来排列类型之间的互信息。通过值序列与其序模式之间的对偶性，作者证明了排列超额熵——衡量排序层次上的长程依赖性——可被解释为在排列空间中的预测能力，这与标准超额熵在基于数值的系统中的作用相呼应。

ABSTRACT

We address the excess entropy, which is a measure of complexity for stationary time series, from the ordinal point of view. We show that the permutation excess entropy is equal to the mutual information between two adjacent semi-infinite blocks in the space of orderings for finite-state stationary ergodic Markov processes. This result may shed a new light on the relationship between complexity and anticipation.

研究动机与目标

• 研究基于序数模式的排列超额熵是否能捕捉时间序列中的全局相关性。
• 探讨基于数值的序列与其排列类型之间在量化系统复杂性时的对偶性。
• 在排序空间中建立排列超额熵与互信息之间的正式联系。
• 证明序数模式能够以类似于标准超额熵的方式编码长程依赖性。

提出的方法

• 作者利用值序列与其排列类型之间的对偶性，通过映射 φ 将每个字词映射到其唯一的排序模式来定义。
• 将排列超额熵定义为连接排列块的熵与各独立块熵之和的差值的极限。
• 关键技术工具是引理 8，它利用二项式系数和原像集大小，界定了联合与边缘排列熵之间的差异。
• 对于有限状态的平稳遍历马尔可夫过程，他们证明了非唯一排列类型的概率以指数方式衰减，从而保证了极限的收敛性。
• 该证明依赖于使用排列类型上条件分布与边缘分布之间的 Kullback-Leibler 散度来界熵差。
• 主要结果通过证明排列空间中的超额熵收敛于相邻半无限排列类型块之间的互信息而得出。

实验结果

研究问题

• RQ1 排列超额熵能否被解释为序数模式空间中全局相关性的度量？
• RQ2 在平稳随机过程中，基于数值与基于顺序的复杂度度量之间是否存在对偶性？
• RQ3 对于马尔可夫过程，过去与未来排列类型之间的互信息是否等于排列超额熵？
• RQ4 非唯一排列类型衰减率如何影响排列超额熵的收敛性？

主要发现

• 对于有限状态的平稳遍历马尔可夫过程，排列超额熵恰好等于过去与未来排列类型之间的互信息。
• 互信息表达式在块长度 L 趋近于无穷大的极限下成立，证实了排列超额熵确实度量了序数层次上的预测能力。
• 联合与边缘排列熵之间的差异被界为 O(α^L)，其中 0 < α < 1，确保了该极限的收敛性。
• 熵差的界依赖于非唯一排列类型的数量，该数量由二项式系数控制，并随 L 指数衰减。
• 该结果证实，排列超额熵以与标准超额熵相同的方式捕捉了长程依赖性，但作用于过程的序数表示形式。