[论文解读] Optimal high-level descriptions of dynamical systems

David H. Wolpert, Joshua A. Grochow+2 more|arXiv (Cornell University)|Sep 25, 2014

Model Reduction and Neural Networks参考文献 111被引用 18

一句话总结

本文提出了状态空间压缩（SSC）框架，这是一种形式化方法，用于通过平衡预测准确性和计算成本，推导出动力系统的最优高层描述。它利用信息论的准确度成本和计算成本度量，量化最优粗粒化，从而在物理学、生物学和经济学中系统地推导出涌现的宏观状态。

ABSTRACT

To analyze high-dimensional systems, many fields in science and engineering rely on high-level descriptions, sometimes called "macrostates," "coarse-grainings," or "effective theories". Examples of such descriptions include the thermodynamic properties of a large collection of point particles undergoing reversible dynamics, the variables in a macroeconomic model describing the individuals that participate in an economy, and the summary state of a cell composed of a large set of biochemical networks. Often these high-level descriptions are constructed without considering the ultimate reason for needing them in the first place. Here, we formalize and quantify one such purpose: the need to predict observables of interest concerning the high-dimensional system with as high accuracy as possible, while minimizing the computational cost of doing so. The resulting State Space Compression (SSC) framework provides a guide for how to solve for the {optimal} high-level description of a given dynamical system, rather than constructing it based on human intuition alone. In this preliminary report, we introduce SSC, and illustrate it with several information-theoretic quantifications of "accuracy", all with different implications for the optimal compression. We also discuss some other possible applications of SSC beyond the goal of accurate prediction. These include SSC as a measure of the complexity of a dynamical system, and as a way to quantify information flow between the scales of a system.

研究动机与目标

• 形式化并量化科学与工程中高层描述（宏观状态）的目的，特别是针对系统可观测量的预测。
• 解决长期存在的问题：如何系统性地选择最佳宏观状态，而无需依赖直觉或临时定义。
• 开发一个统一框架，优化动力系统粗粒化中预测准确性与计算成本之间的权衡。
• 通过迭代压缩，实现从细粒度到涌现宏观状态的分层描述体系。
• 提供一种原则性方法，量化系统各尺度间的信息流，区别于传统的度量方法（如转移熵）。

提出的方法

• 提出基于效用的目标函数，平衡准确度成本（宏观状态预测可观测量的能力）与计算成本（计算和使用宏观状态的投入）。
• 使用信息论度量（如时间平均可观测量与其从宏观状态预测值之间的互信息）定义准确度成本。
• 利用条件熵和时间平均联合分布，避免虚假相关性导致互信息评分虚高。
• 引入从细粒度状态空间 $ X $ 到粗粒度宏观状态 $ Y $ 的形式映射 $ x_t \to y_t $，其动力学由 $ \phi $ 控制，预测映射为 $ \pi $。
• 应用理论计算机科学概念，基于 $ \pi $、$ \phi $ 和状态转移结构的复杂性定义计算成本。
• 推导出完整的 SSC 目标函数，结合准确度与计算成本，实现最优宏观状态的优化。

实验结果

研究问题

• RQ1 在追求准确预测且计算成本最小的前提下，什么定义了动力系统最优高层描述？
• RQ2 如何形式化并量化粗粒化过程中预测准确性与计算复杂性之间的权衡？
• RQ3 系统内各尺度间的信息流起什么作用，以及如何与系统间的信息流区分开来测量？
• RQ4 SSC 框架能否生成一系列宏观状态，逐步压缩系统同时保持预测能力？
• RQ5 不同信息论准确度度量（如互信息、条件熵）如何导致不同的最优宏观状态？

主要发现

• SSC 框架通过最小化准确度与计算成本的组合目标函数，提供了一种原则性、客观的方法来推导最优宏观状态。
• 基于时间平均互信息或条件熵的信息论准确度成本，比瞬时值提供更稳健、更有意义的度量。
• 该框架区分了单一系统内各尺度间的信息流与不同系统间的信息流，支持采用不同的量化方法。
• 与转移熵不同，所提出的度量能够捕捉通过直接动力学依赖（如过去状态的回声）传递的信息流，这对基于尺度的分析至关重要。
• 该框架支持构建分层宏观状态，其中压缩程度较低的层级可校正压缩程度更高的层级的预测。
• 该方法揭示，许多传统上使用的宏观状态（如热力学变量、宏观经济聚合量）在该目标函数下已接近最优。