[论文解读] A regularization method for the parameter estimation problem in ordinary differential equations via discrete optimal control theory

Quentin Clairon|arXiv (Cornell University)|Oct 9, 2018

Control Systems and Identification参考文献 63被引用 5

一句话总结

本文提出了一种计算高效的正则化方法，用于常微分方程（ODE）中的参数估计，通过将问题重新表述为离散最优控制任务，避免了预平滑的需要。该方法在参数收敛率下实现了一致估计，在小样本和模型误设情形下优于标准技术，并通过最优控制轨迹提供可解释的残差，以检测模型不足。

ABSTRACT

We present a parameter estimation method in Ordinary Differential Equation (ODE) models. Due to complex relationships between parameters and states the use of standard techniques such as nonlinear least squares can lead to the presence of poorly identifiable parameters. Moreover, ODEs are generally approximations of the true process and the influence of misspecification on inference is often neglected. Methods based on control theory have emerged to regularize the ill posed problem of parameter estimation in this context. However, they are computationally intensive and rely on a nonparametric state estimator known to be biased in the sparse sample case. In this paper, we construct criteria based on discrete control theory which are computationally efficient and bypass the presmoothing step of signal estimation while retaining the benefits of control theory for estimation. We describe how the estimation problem can be turned into a control one and present the numerical methods used to solve it. We show convergence of our estimator in the parametric and well-specified case. For small sample sizes, numerical experiments with models containing poorly identifiable parameters and with various sources of model misspecification demonstrate the acurracy of our method. We finally test our approach on a real data example.

研究动机与目标

• 解决由于实际非可识别性和参数敏感性中的粗糙性导致的ODE参数估计病态性问题。
• 克服现有基于控制理论的方法中依赖非参数预平滑噪声数据所导致的计算瓶颈和偏差。
• 在模型正确设定下，提供具有参数收敛率的一致估计器，同时对模型误设保持鲁棒性。
• 在不将初始条件作为干扰参数估计的情况下实现对其的轮廓分析。
• 通过最优控制轨迹的残差分析，促进检测模型不足。

提出的方法

• 使用连续最优控制框架的离散时间公式，将ODE参数估计问题重新表述为离散最优控制问题。
• 基于观测数据与模型预测之间的差异构建代价函数，并通过最优控制输入的范数进行正则化。
• 采用ODE动力学的离散时间近似，避免求解连续敏感性方程，从而降低计算成本。
• 应用离散最大值原理推导最优性的必要条件，并通过数值方法求解得到的两点边值问题。
• 通过将初始条件视为控制向量的一部分来实现对其的轮廓分析，从而无需单独估计。
• 利用所得的最优控制轨迹作为模型残差，以检测系统性模型误设。

实验结果

研究问题

• RQ1 离散最优控制公式能否为ODE中的参数估计提供一种一致且高效于连续控制方法的替代方案？
• RQ2 在渐近理论失效的小样本情形下，所提出的方法表现如何？
• RQ3 最优控制轨迹在多大程度上可作为检测模型误设的诊断工具？
• RQ4 该方法在各种形式的模型误设下（如错误的功能形式或遗漏变量）是否仍保持鲁棒性？
• RQ5 该方法能否有效处理因敏感性矩阵粗糙性导致的难以识别参数？

主要发现

• 在模型正确设定下，所提出的估计器实现了参数收敛率，表现出一致性和效率。
• 在小样本模拟中，对于难以识别的参数，该方法在估计精度和稳定性方面显著优于非线性最小二乘法和广义轮廓法。
• 在真实数据中，最优控制轨迹在不同受试者间表现出一致的模式，表明标准残差未能捕捉到的系统性模型缺陷。
• 在真实数据示例中，该方法得到的参数估计与Stein估计器结果符号不同，表明其对模型不确定性具有更强的鲁棒性。
• 该方法成功实现了对初始条件的轮廓分析，且未引入额外的干扰参数，简化了估计框架。