[论文解读] Accelerated least squares estimation for systems of ordinary differential equations

Itai Dattner, Shota Gugushvili|arXiv (Cornell University)|Mar 27, 2015

Control Systems and Identification参考文献 24被引用 4

一句话总结

本文提出加速最小二乘法（ACCEL）以实现带有噪声观测的常微分方程系统中参数估计的高效性。从一个 $√n$-一致的初始估计量出发，仅通过一次牛顿-拉夫森迭代步骤，即可实现与完整最小二乘法相当的渐近性能，且计算成本极低，从而实现快速的点估计与区间估计。

ABSTRACT

We study the problem of parameter estimation for a system of ordinary differential equations based on noisy observations on the solution of the system. A classical estimation approach to this problem is the least squares method. Owing to a highly nonlinear character of the least squares criterion function and the need to employ repetitive numerical integration of the system, the latter method becomes computationally intense for most realistic systems. We propose the accelerated (ACCEL) least squares method, which starts from a preliminary \sqrt{n}-consistent estimator of the parameter of interest and next through a Newton-Raphson type step turns it into an asymptotically equivalent estimator to the least squares estimator. Additional computational burden of this step is negligible. We demonstrate excellent practical performance of the ACCEL least squares approach via simulations and real data examples. The method enables the researcher to obtain both point and interval estimates.

研究动机与目标

• 解决在带有噪声数据的常微分方程系统中，传统最小二乘估计方法计算成本过高的问题。
• 克服由于重复数值积分导致的ODE参数估计中非线性、非凸优化的挑战。
• 开发一种计算高效的全最小二乘法替代方法，同时保持渐近效率。
• 在计算资源有限的条件下，实现对实际ODE系统可行的点估计与区间估计。

提出的方法

• 从通过计算轻量级方法获得的ODE参数的初步 $√n$-一致估计量出发。
• 以初始估计量作为起点，对最小二乘准则函数应用一次牛顿-拉夫森更新步骤。
• 利用最小二乘准则函数在初始估计量附近的局部二次近似，以最小化额外的积分计算成本。
• 确保最终估计量在渐近意义上等价于全最小二乘估计量，且额外计算可忽略不计。
• 在初始步骤中，每个数据点仅使用一次数值积分（如龙格-库塔法），并在优化改进阶段避免重复积分。
• 通过最小二乘目标函数的梯度与海塞矩阵推导牛顿-拉夫森更新步骤，利用ODE解映射的光滑性。

实验结果

研究问题

• RQ1 能否为带有噪声观测的ODE系统开发一种计算高效的全最小二乘法替代方法？
• RQ2 从一个 $√n$-一致的初始估计量出发，仅进行一次牛顿-拉夫森步骤，是否能获得与全最小二乘法渐近等价的结果？
• RQ3 ACCEL方法在计算效率与估计精度方面，相较于标准最小二乘法及其他估计量有何表现？
• RQ4 ACCEL方法能否在实际ODE参数估计问题中可靠地生成点估计与区间估计？

主要发现

• ACCEL方法仅通过一次牛顿-拉夫森更新步骤，即可实现与全最小二乘估计量的渐近等价性。
• 该方法通过避免标准最小二乘法中重复的数值积分，显著降低了计算负担。
• 模拟实验与真实数据示例表明其具有出色的实用性能，估计精度与全最小二乘法相当。
• 该方法可实现可靠的点估计与区间估计，适用于计算资源有限的实际应用场景。
• 与初始估计阶段相比，优化步骤的计算成本可忽略不计。
• 该方法在大幅提高运行效率的同时，保持了统计效率，尤其在复杂或高维ODE系统中优势显著。