[论文解读] Identification of Stochastic Wiener Systems using Indirect Inference

Bo Wahlberg, James S. Welsh+1 more|arXiv (Cornell University)|Jul 20, 2015

Control Systems and Identification参考文献 10被引用 4

一句话总结

该论文提出了一种间接推断方法，用于识别随机Wiener系统——即具有过程噪声和非线性输出传感器的线性动态系统——使用最佳线性逼近（BLA）作为辅助模型。通过在第二阶段估计中应用最优不确定性加权，该方法实现了与最大似然估计和预测误差最小化相当的统计性能，同时显著降低了计算成本。

ABSTRACT

We study identification of stochastic Wiener dynamic systems using so-called indirect inference. The main idea is to first fit an auxiliary model to the observed data and then in a second step, often by simulation, fit a more structured model to the estimated auxiliary model. This two-step procedure can be used when the direct maximum-likelihood estimate is difficult or intractable to compute. One such example is the identification of stochastic Wiener systems, i.e.,~linear dynamic systems with process noise where the output is measured using a non-linear sensor with additive measurement noise. It is in principle possible to evaluate the log-likelihood cost function using numerical integration, but the corresponding optimization problem can be quite intricate. This motivates studying consistent, but sub-optimal, identification methods for stochastic Wiener systems. We will consider indirect inference using the best linear approximation as an auxiliary model. We show that the key to obtain a reliable estimate is to use uncertainty weighting when fitting the stochastic Wiener model to the auxiliary model estimate. The main technical contribution of this paper is the corresponding asymptotic variance analysis. A numerical evaluation is presented based on a first-order finite impulse response system with a cubic non-linearity, for which certain illustrative analytic properties are derived.

研究动机与目标

• 解决由于非线性导致直接最大似然估计在计算上不可行的随机Wiener系统识别挑战。
• 研究使用最佳线性逼近作为辅助模型的间接推断方法，以实现一致且次优的参数估计。
• 推导并验证Wiener系统间接推断估计量的渐近方差。
• 证明在第二阶段估计中采用最优加权对于可靠性能至关重要，尤其是在使用高阶BLA模型时。
• 将所提方法的统计效率和计算效率与最大似然估计和加权预测误差最小化方法进行比较。

提出的方法

• 将Wiener系统的最佳线性逼近（BLA）作为辅助模型，从观测到的输入-输出数据中估计。
• 应用间接推断：在第二步中，使用基于模拟的优化方法，将结构化的随机Wiener模型拟合到估计的BLA参数上。
• 在第二阶段的目标函数中引入不确定性加权，使用BLA估计渐近协方差矩阵的逆矩阵。
• 利用系统辨识理论推导间接推断估计量的渐近方差，给出加权矩阵的显式表达式。
• 对于具有立方非线性的首阶FIR系统，使用解析解实现第二阶段优化，以实现精确的性能评估。
• 通过蒙特卡洛模拟验证该方法，采用高斯和均匀输入信号，并与ML和PEM基准进行比较。

实验结果

研究问题

• RQ1 使用最佳线性逼近的间接推断能否为随机Wiener系统提供一种一致且计算高效的替代最大似然估计的方法？
• RQ2 第二阶段估计中不确定性加权对间接推断方法统计性能的影响是什么？
• RQ3 在偏差、方差和计算成本方面，间接推断方法与最大似然估计和加权预测误差最小化方法相比表现如何？
• RQ4 尽管包含更多信息，使用首阶BLA模型并配合最优加权是否优于零阶BLA模型？
• RQ5 立方非线性存在时，与线性情况相比，估计不确定性如何变化？

主要发现

• 采用最优不确定性加权的间接推断方法在统计性能上与最大似然估计和加权预测误差最小化方法相当，同时计算成本显著降低。
• 对于具有立方非线性的首阶FIR系统，真实参数θ₀ = 0.5的均值估计为0.4982（标准差：0.0418），接近最大似然结果（均值：0.5025，标准差：0.0303）。
• 零阶间接推断方法（无加权）在高斯输入下标准差更高（0.0446），表明未加权估计导致估计精度下降。
• 无加权的首阶间接推断方法标准差为0.0554，高于加权版本，证实最优加权对可靠性能至关重要。
• 仿真结果表明，非线性（立方）相比线性情况增加了估计不确定性，线性情况理论标准差为0.0173，而非线性情况的实证标准差更高。
• 间接推断的计算时间仅为最大似然估计所需时间的一小部分，使其在实际应用中极为高效。