[论文解读] Mixed linear-nonlinear least squares regression

Alberto Herrera‐Gómez, R. Michael Porter|arXiv (Cornell University)|Mar 12, 2017

Statistical and numerical algorithms参考文献 6被引用 3

一句话总结

本文提出了一种混合线性-非线性最小二乘回归方法，通过以精确最小二乘解处理线性参数，减少非线性迭代次数，从而加速优化。通过计算‘快捷导数’，以解析解替代线性参数的数值近似，该方法在保持与Levenberg-Marquardt及其他基于梯度方法完全兼容的同时，提升了速度与稳定性，尤其在主导线性参数时表现更优。

ABSTRACT

The problem of fitting experimental data to a given model function $f(t; p_1,p_2,\dots,p_N)$ is conventionally solved numerically by methods such as that of Levenberg-Marquardt, which are based on approximating the Chi-squared measure of discrepancy by a quadratic function. Such nonlinear iterative methods are usually necessary unless the function $f$ to be fitted is itself a linear function of the parameters $p_n$, in which case an elementary linear Least Squares regression is immediately available. When linearity is present in some, but not all, of the parameters, we show how to streamline the optimization method by reducing the "nonlinear activity" to the nonlinear parameters only. Numerical examples are given to demonstrate the effectiveness of this approach. The main idea is to replace entries corresponding to the linear terms in the numerical difference quotients with an optimal value easily obtained by linear regression. More generally, the idea applies to minimization problems which are quadratic in some of the parameters. We show that the covariance matrix of $χ^2$ remains the same even though the derivatives are calculated in a different way. For this reason, the standard non-linear optimization methods can be fully applied.

研究动机与目标

• 为解决标准非线性最小二乘拟合中，即使部分参数以线性方式进入，仍对所有参数进行非线性处理所导致的低效问题。
• 降低具有线性和非线性参数的模型拟合中的计算成本，提升数值稳定性。
• 开发并数学证明一种利用线性结构简化优化过程的方法，同时不牺牲标准非线性求解器的收敛特性。
• 证明在使用快捷导数时，卡方函数的协方差矩阵保持不变，确保标准误估计的统计有效性。

提出的方法

• 通过用线性最小二乘的解析最优解替代线性参数的数值差商，引入‘快捷导数’的概念。
• 对于关于参数 $ q_1, \dots, q_N $ 线性的模型函数，对固定的 $ \vec{p} $ 计算 $ \vec{q}^*(\vec{p}) $ 作为最小二乘解，从而无需对 $ \vec{q} $ 进行迭代更新。
• 利用所得的 $ \vec{q}^*(\vec{p}) $ 计算模型函数对非线性参数 $ p_1, \dots, p_M $ 的精确偏导数，形成 $ \chi^2 $ 的‘快捷’梯度与海森矩阵。
• 使用链式法则和 $ \vec{q}^*(\vec{p}) $ 的解析解，推导 $ \chi^2 $ 关于 $ \vec{p} $ 的快捷海森矩阵，避免对线性参数进行数值微分。
• 使用快捷导数，应用标准非线性优化算法（如Levenberg-Marquardt），其计算成本更低且精度更高，优于完整数值导数。
• 证明在快捷方法下，$ \chi^2 $ 的协方差矩阵与经典方法完全一致，从而保持统计推断性质。

实验结果

研究问题

• RQ1 能否通过解析求解线性参数而非迭代处理，降低非线性最小二乘拟合的计算成本？
• RQ2 用精确最小二乘解替代线性参数的数值导数，是否能保持非线性回归中协方差矩阵的统计特性？
• RQ3 与经典非线性最小二乘方法相比，快捷方法在收敛速度与数值稳定性方面表现如何？
• RQ4 快捷方法的计算复杂度是多少？在何时其时间与迭代次数优势超过经典方法？
• RQ5 快捷方法能否应用于真实世界拟合问题（如光谱学中的峰解卷积）？是否能获得更稳健的结果？

主要发现

• 与经典方法的 $ O((M+N)^3) $ 相比，快捷方法将计算 $ \chi^2 $ 关于非线性参数的海森矩阵成本降低至 $ O(M^2N) + O(MN^3) $，当 $ M \ll N $ 时显著提升速度。
• 该方法保持与经典方法相同的 $ \chi^2 $ 协方差矩阵，确保标准误与置信区间的统计有效性不变。
• 在数值实验中，快捷方法所需迭代次数少于经典方法，且在多数情况下显著缩短计算时间，尤其当线性参数占主导时。
• 快捷导数技术在处理多指数峰模型（参数线性组合）时，比将所有参数视为非线性更稳健、更快速。
• 定理5提供的理论证明确认，通过快捷方法计算的逆海森矩阵对角元素与完整海森矩阵一致，验证了先前软件中经验观察到的方法有效性。