[论文解读] Isomorphism between Maximum Lyapunov Exponent and Shannon's Channel Capacity

Gerald Friedland, Alfredo Metere|arXiv (Cornell University)|Jun 27, 2017

Evolutionary Algorithms and Applications参考文献 6被引用 4

一句话总结

本文建立了可计算动力系统最大李雅普诺夫指数（LE）与无噪声、无记忆香农通信信道信道容量之间的严格同构关系。通过将LE重新解释为跟踪系统状态演化所需的最大比特速率，该研究弥合了混沌理论与信息论之间的鸿沟，使得无需直接求解其运动方程，即可利用机器学习与信息论方法模拟复杂物理系统。

ABSTRACT

We demonstrate that the Maximum Lyapunov Exponent for computable dynamical systems is isomorphic to the maximum capacity of a noiseless, memoryless channel in a Shannon communication model. The isomorphism allows the understanding of Lyapunov exponents in the simplified terms of Information Theory, rather than the traditional definitions in Chaos Theory. This work provides a bridge between fundamental physics and Information Theory to the mutual benefit of both fields. The result suggests, among other implications, that machine learning and other information theory methods can be successfully employed at the core of physics simulations.

研究动机与目标

• 建立动力系统中最大李雅普诺夫指数（LE）与申农信息论中信道容量之间的正式数学同构关系。
• 证明LE可被解释为无噪声、无记忆通信信道中的最大信息传输速率。
• 使信息论与机器学习技术能够应用于模拟复杂动力系统，而无需显式求解其运动方程。
• 将柯尔莫哥洛夫-西奈熵的理解推广为正信道容量之和，将基于LE的分析有效性扩展至所有可由信息论处理的系统。
• 为物理系统的信息论分析提供一个确定性框架，与以往的随机方法形成对比。

提出的方法

• 通过无穷小输入信号的极限，形式化推导最大李雅普诺夫指数与香农信道容量之间的同构关系。
• 在输入大小X趋近于零的极限下，利用香农-哈特利定理重新表述信道容量，得出容量的通用上界。
• 定义一种新度量——最大信道容量 $ C_M $，其表达式为 $ \lim_{t\to\infty} \lim_{X\to 0} \frac{1}{t} \log_2(Y/X) $，并证明其与最大LE同构。
• 应用计算机可表示性不变性原理，表明任意N维动力系统均可无损地简化为一维递推映射。
• 利用互信息 $ I(X;Y) $ 与信噪比概念，将状态的时间演化建模为通信过程。
• 将动力系统演化解释为时间依赖的信道函数 $ N(t) $，将初始状态 $ X $ 映射为最终状态 $ Y $。

实验结果

研究问题

• RQ1 确定性动力系统的最大李雅普诺夫指数能否在形式上与香农模型中无噪声、无记忆通信信道的容量同构？
• RQ2 在信道容量公式中取 $ X \to 0 $ 的极限具有何种物理意义？它与系统内在复杂性的关系如何？
• RQ3 LE与信道容量之间的同构关系如何推广至柯尔莫哥洛夫-西奈熵作为正信道容量之和的测量？
• RQ4 能否利用机器学习与信息论方法，通过将状态演化编码为信息传输来模拟动力系统？
• RQ5 是否可能将确定性物理系统视为通信信道，从而在混沌理论与信息论之间建立统一框架？

主要发现

• 在无穷小输入信号极限下，最大李雅普诺夫指数被严格证明与无噪声、无记忆信道的最大信道容量 $ C_M $ 同构。
• 定义了新度量 $ C_M = \lim_{t\to\infty} \lim_{X\to 0} \frac{1}{t} \log_2(Y/X) $，并证明其与最大李雅普诺夫指数等价，为信息传输速率提供了通用上界。
• 传统上定义为正李雅普诺夫指数之和的柯尔莫哥洛夫-西奈熵，现被重新解释为对应于正信道容量之和的总比特速率。
• 该同构关系使得任意N维动力系统可被简化为等价的一维递推映射，确立了计算机可表示性不变性原理。
• 本研究为物理系统的信息论分析提供了确定性基础，与以往的随机模型形成对比，并将机器学习在物理模拟中的适用性进一步扩展。
• 该结果验证并显著推广了Ebeid的前期工作，证明LE不仅与通信速率相关，更是其数学同构体。