[论文解读] Calibrating multi-dimensional complex ODE from noisy data via deep neural networks

Kexuan Li, Fangfang Wang+3 more|arXiv (Cornell University)|Jun 7, 2021

Model Reduction and Neural Networks参考文献 30被引用 4

一句话总结

本文提出一种两阶段深度学习框架，用于从噪声大、采样不规则的高维非线性常微分方程（ODE）数据中进行校准。第一阶段采用边界核平滑方法对数据去噪并估计导数；第二阶段采用ReLU激活、稀疏连接的深度神经网络来建模ODE的右端项，该方法在模块化结构假设下实现了一致性估计，理论收敛速率与维度无关，并在模拟实验和美国新冠疫情案例研究中得到验证。

ABSTRACT

Ordinary differential equations (ODEs) are widely used to model complex dynamics that arises in biology, chemistry, engineering, finance, physics, etc. Calibration of a complicated ODE system using noisy data is generally very difficult. In this work, we propose a two-stage nonparametric approach to address this problem. We first extract the de-noised data and their higher order derivatives using boundary kernel method, and then feed them into a sparsely connected deep neural network with ReLU activation function. Our method is able to recover the ODE system without being subject to the curse of dimensionality and complicated ODE structure. When the ODE possesses a general modular structure, with each modular component involving only a few input variables, and the network architecture is properly chosen, our method is proven to be consistent. Theoretical properties are corroborated by an extensive simulation study that demonstrates the validity and effectiveness of the proposed method. Finally, we use our method to simultaneously characterize the growth rate of Covid-19 infection cases from 50 states of the USA.

研究动机与目标

• 解决在数据存在噪声、采样不规则且异步观测时，校准多维非线性ODE的挑战。
• 开发一种非参数估计方法，避免高维ODE系统中的维度灾难。
• 在模块化函数结构假设下，为深度神经网络对ODE的估计提供理论一致性与收敛速率保证。
• 实现对相互依赖系统中各组件的联合估计，例如流行病学建模中地理位置相邻的各州。
• 通过将特征选择整合到神经网络架构中，提升模型的可解释性与准确性。

提出的方法

• 第一阶段采用边界核方法，从噪声大、采样不规则的观测中估计真实状态变量及其高阶导数。
• 第二阶段使用具有ReLU激活函数的稀疏连接前馈深度神经网络，近似ODE的右端项函数 f₀。
• 该方法假设一个通用的模块化结构，即 f₀ 的每个分量仅依赖于输入变量的少量子集（例如，x, x⁽¹⁾, ..., x⁽ᵛ⁻¹⁾）。
• 在较弱的光滑性与模块化结构假设下，建立了理论一致性，收敛速率取决于网络深度、宽度与函数光滑性，而不依赖于整体维度 d。
• 应用基于Lemhadri等人（2021）的特征选择方法，识别每个ODE分量最相关的输入变量。
• 通过大量模拟实验验证该框架，并应用于估计美国各州每日新冠病例的增长率，整合空间依赖性。

实验结果

研究问题

• RQ1 当数据存在噪声且采样不规则时，深度神经网络能否一致地估计高维非线性ODE系统的右端项？
• RQ2 所提出的方法是否能避免在真实函数复杂且高维时的维度灾难，实现ODE校准？
• RQ3 在相互依赖的系统（如相邻的美国各州）中进行联合估计，相比单独估计，是否能显著提升准确性？
• RQ4 在模块化ODE结构下，神经网络估计器的理论收敛速率是多少？
• RQ5 在神经网络内部进行的特征选择能否有效识别影响每个ODE分量的最关键变量？

主要发现

• 所提出的方法在一般模块化结构下，实现了对ODE右端项函数 f₀ 的一致估计，收敛速率与系统维度 d 无关。
• 理论分析表明，收敛速率仅取决于 f₀ 的光滑性、神经网络的深度与宽度以及噪声水平，而不依赖于状态变量的数量。
• 在模拟实验中，该方法在高维与高噪声环境下显著优于传统非参数导数估计方法。
• 使用该方法联合估计各州层面的新冠病例增长速率，结果比单独估计更一致且具有更强的空间一致性，相邻各州呈现出同步趋势。
• 特征选择识别出纽约州、罗德岛州和康涅狄格州对马萨诸塞州的影响最大，符合合理的区域传播动力学。
• 该方法成功预测出每日新增病例峰值将出现在增长率达最大值约一个月后，展示了其预测能力。