[论文解读] Chaos as an interpretable benchmark for forecasting and data-driven modelling

William Gilpin|arXiv (Cornell University)|Oct 11, 2021

Time Series Analysis and Forecasting被引用 23

一句话总结

本文提出了一套标准化、可扩展的基准，涵盖131个已知的混沌动力系统，包含预先计算的时间序列和数学注释，支持对预测和数据驱动建模技术的可解释性评估。主要贡献在于证明了预测性能与系统混沌性的强相关性——以李雅普诺夫指数量化——同时利用系统的生成特性，实现了新型应用，如代理迁移学习和重要性采样。

ABSTRACT

The striking fractal geometry of strange attractors underscores the generative nature of chaos: like probability distributions, chaotic systems can be repeatedly measured to produce arbitrarily-detailed information about the underlying attractor. Chaotic systems thus pose a unique challenge to modern statistical learning techniques, while retaining quantifiable mathematical properties that make them controllable and interpretable as benchmarks. Here, we present a growing database currently comprising 131 known chaotic dynamical systems spanning fields such as astrophysics, climatology, and biochemistry. Each system is paired with precomputed multivariate and univariate time series. Our dataset has comparable scale to existing static time series databases; however, our systems can be re-integrated to produce additional datasets of arbitrary length and granularity. Our dataset is annotated with known mathematical properties of each system, and we perform feature analysis to broadly categorize the diverse dynamics present across the collection. Chaotic systems inherently challenge forecasting models, and across extensive benchmarks we correlate forecasting performance with the degree of chaos present. We also exploit the unique generative properties of our dataset in several proof-of-concept experiments: surrogate transfer learning to improve time series classification, importance sampling to accelerate model training, and benchmarking symbolic regression algorithms.

研究动机与目标

• 通过整理来自不同科学领域的多样化、具有数学基础的混沌动力系统集合，解决时间序列预测与数据驱动建模领域缺乏标准化、可解释性基准的问题。
• 通过将性能与可量化的数学属性（如李雅普诺夫指数和分形维数）相关联，实现对预测模型的系统性评估。
• 利用混沌系统的生成特性，实现在模型训练中新型应用，如迁移学习和重要性采样。
• 通过将算法性能与底层动力学特性关联，而非仅依赖于单个时间序列内的特征归因，提升数据驱动模型的可解释性。

提出的方法

• 作者从不同科学领域收集了131个已知的混沌动力系统，每个系统均具有明确的解析形式以及预先计算的多变量和单变量时间序列。
• 每个系统均标注了已知的数学属性，包括李雅普诺夫指数、分形维数和吸引子拓扑结构，从而支持对动力复杂性的定量比较。
• 该数据集支持对底层微分方程或映射的重新积分，以生成任意长度、分辨率和随机性的新时间序列。
• 在所有系统上使用多种模型进行预测基准测试，并将性能与混沌的数学度量相关联。
• 通过在数据集的时间序列上预训练特征提取器，并在标准时间序列分类基准上微调，展示了代理迁移学习的可行性。
• 应用重要性采样以加速模型训练，通过利用系统几何结构聚焦于吸引子中稀疏但高影响力的区域。

实验结果

研究问题

• RQ1 以李雅普诺夫指数衡量的动力系统混沌程度，与现代机器学习模型的预测性能之间是否存在相关性？
• RQ2 混沌系统的生成性和数学结构化特性，是否能够支持数据驱动建模中的新型应用，如迁移学习或高效训练？
• RQ3 算法的符号回归性能是否依赖于目标系统的内在动力复杂性，而非仅依赖于公式的句法复杂度？
• RQ4 混沌系统在多大程度上可作为可解释性基准，将模型性能与底层动力学的机制性属性联系起来？

主要发现

• 在多种模型中，预测性能与李雅普诺夫指数存在强相关性，证实更高的混沌性导致更低的可预测性。
• 符号回归算法在更混沌的系统上表现出显著更高的误差率，表明其局部近似器的搜索空间更广、更复杂。
• 基于吸引子几何结构的重要性采样可减少训练时间，通过聚焦于动力学显著区域，提升样本效率。
• 利用该数据集进行代理迁移学习，通过引入与时间尺度匹配的表示，提升了标准时间序列分类基准的性能。
• 该数据集的生成能力支持任意长度时间序列的合成，使基准测试可扩展且可定制，超越静态数据集的限制。
• 更混沌的系统会产生更多样化的局部近似器，从而增加符号回归搜索空间的复杂度，解释了观察到的性能下降现象。