[论文解读] Deep learning as closure for irreversible processes: A data-driven generalized Langevin equation

Antonio Russo, Miguel A. Durán-Olivencia+2 more|arXiv (Cornell University)|Mar 22, 2019

Advanced Thermodynamics and Statistical Mechanics被引用 4

一句话总结

本文提出一种深度学习方法，用于近似广义朗之万方程（GLE）中未知的记忆核和噪声项，利用神经网络学习不可逆过程的闭合形式。通过用数据驱动的神经网络替代传统的启发式拟合函数，该方法在胶体动力学、粒子链、气候模型和金融时间序列等多种系统中均实现了更高的精度和鲁棒性。

ABSTRACT

The ultimate goal of physics is finding a unique equation capable of describing the evolution of any observable quantity in a self-consistent way. Within the field of statistical physics, such an equation is known as the generalized Langevin equation (GLE). Nevertheless, the formal and exact GLE is not particularly useful, since it depends on the complete history of the observable at hand, and on hidden degrees of freedom typically inaccessible from a theoretical point of view. In this work, we propose the use of deep neural networks as a new avenue for learning the intricacies of the unknowns mentioned above. By using machine learning to eliminate the unknowns from GLEs, our methodology outperforms previous approaches (in terms of efficiency and robustness) where general fitting functions were postulated. Finally, our work is tested against several prototypical examples, from a colloidal systems and particle chains immersed in a thermal bath, to climatology and financial models. In all cases, our methodology exhibits an excellent agreement with the actual dynamics of the observables under consideration.

研究动机与目标

• 为解决统计物理中利用广义朗之万方程（GLE）建模不可逆过程的根本挑战，该方程因具有非马尔可夫记忆特性和隐藏自由度而难以解析求解。
• 克服传统方法依赖启发式拟合函数来处理GLE中记忆核和噪声项的局限性。
• 开发一种数据驱动框架，直接从可观测轨迹中学习闭合项，实现在不了解底层自由度的情况下准确预测系统动力学。
• 在多种物理和随机系统中验证该方法，包括胶体动力学、粒子链、气候模型和金融时间序列。

提出的方法

• 使用深度神经网络直接从感兴趣的可观测量的时间序列数据中学习GLE的记忆核和噪声统计特性。
• 将GLE表述为具有未知记忆项和噪声项的非马尔可夫随机微分方程，并由深度神经网络对这些项进行参数化。
• 通过观测轨迹训练神经网络，以最小化可观测量演化过程的预测误差，从而有效学习GLE的闭合形式。
• 采用基于预测轨迹与实际轨迹之间差异的损失函数，实现GLE未知成分的端到端学习。
• 将训练好的神经网络闭合形式集成到GLE框架中，以高保真度模拟可观测量的动力学行为。
• 通过在未见数据和多样化系统（包括非平衡态和非高斯过程）上进行测试，确保方法的泛化能力。

实验结果

研究问题

• RQ1 当底层自由度未知时，深度神经网络能否有效学习广义朗之万方程的记忆核和噪声统计特性？
• RQ2 在不同物理和随机系统中，与传统启发式拟合函数相比，基于数据驱动的神经网络闭合形式在精度和鲁棒性方面表现如何？
• RQ3 所提出的方法在多大程度上能够捕捉胶体粒子、粒子链、气候模型和金融时间序列等系统中的非马尔可夫性和非高斯动力学？
• RQ4 该方法能否泛化到未见数据，并在不同初始条件和噪声水平下保持稳定？

主要发现

• 基于深度学习的GLE闭合方法在预测精度和鲁棒性方面显著优于依赖预设拟合函数的传统方法。
• 该方法在所有测试系统中均与真实动力学表现出极好的一致性，包括胶体系统、粒子链、气候模型和金融时间序列。
• 神经网络成功学习了通常难以通过解析或参数化方法处理的复杂非马尔可夫记忆效应和非高斯噪声结构。
• 该框架在未见轨迹上泛化良好，并在无需事先了解系统底层动力学的情况下保持了高预测性能。
• 该方法能够准确预测不可逆过程中可观测量的长期行为，即使在系统表现出强记忆效应和隐藏自由度的情况下亦然。