[论文解读] A Mathematical Analysis of the Least Squares Sensitivity Method

Qiqi Wang|arXiv (Cornell University)|Apr 12, 2013

Advanced Mathematical Modeling in Engineering被引用 2

一句话总结

本文提供了严格的数学证明，表明最小二乘敏感性方法在参数化混合系统中一致地估计遍历平均对参数的导数。随着问题规模增大，该方法的近似值收敛于真实导数，从而在动力系统敏感性分析中确立了其理论有效性。

ABSTRACT

For a parameterized hyperbolic system $u_{i+1} = f(u_i,s)$, the derivative of an ergodic average $ = \underset{n ightarrow\infty}{\lim} \frac1n \sum_1^n J(u_i,s)$ to the parameter $s$ can be computed via the least squares sensitivity method. This method solves a constrained least squares problem and computes an approximation to the desired derivative $d \over ds$ from the solution. This paper proves that as the size of the least squares problem approaches infinity, the computed approximation converges to the true derivative.

研究动机与目标

• 建立最小二乘敏感性方法在计算混合系统中遍历平均对参数导数方面的理论基础。
• 分析随着问题规模增大，最小二乘敏感性方法的收敛行为。
• 严格证明该方法的近似值在问题规模趋于无穷时趋近于真实导数。
• 为在混沌或混合动力系统敏感性分析中使用该方法提供数学依据。

提出的方法

• 该方法基于系统动力学 $u_{i+1} = f(u_i, s)$，将导数计算表述为一个约束最小二乘问题。
• 通过求解该最小二乘问题，计算遍历平均 $\frac{1}{n} \sum_{i=1}^n J(u_i, s)$ 对参数 $s$ 的导数 $d/ds$ 的近似值。
• 分析聚焦于 $n \to \infty$ 时的渐近行为，将系统建模为参数化混合系统。
• 证明依赖于混合动力系统的性质以及最小二乘公式的结构，以证明收敛性。
• 该方法通过变分公式避免了对混沌轨迹的直接微分。

实验结果

研究问题

• RQ1 随着问题规模增大，最小二乘敏感性方法是否收敛于混合系统中遍历平均的真实导数？
• RQ2 在混沌或混合动力系统中，使用最小二乘法近似导数的理论依据是什么？
• RQ3 约束最小二乘问题的解与遍历平均的真实敏感性之间有何关系？
• RQ4 在 $n$ 趋于无穷的极限下，近似误差在何种条件下趋于零？

主要发现

• 最小二乘敏感性方法产生的遍历平均导数近似值，在问题规模趋于无穷时收敛于真实导数。
• 该收敛性在参数化混合系统中得到证明，此类系统包括对初值具有敏感依赖性的混沌系统。
• 只要函数 $J$ 足够光滑，该方法的收敛性与 $J$ 的具体形式无关。
• 该理论结果验证了在传统伴随方法因混沌而失效的系统中使用最小二乘方法进行敏感性分析的合理性。