[论文解读] Practical Realization of Bessel's Correction for a Bias-Free Estimation of the Auto-Covariance and the Cross-Covariance Functions

Holger Nobach|arXiv (Cornell University)|Mar 20, 2023

Fault Detection and Control Systems被引用 4

一句话总结

本文提出了一种实用方法，对从同一组数据中估计均值时的自协方差和互协方差估计器应用贝塞尔校正，以纠正因基于样本的均值减法引起的偏差。该方法使用加权、重叠的数据段，并通过逆归一化矩阵推导出偏差校正的估计器，即使在数据相关的情况下也能实现准确的方差与协方差估计，提供闭式解并附有开源代码。

ABSTRACT

To derive the auto-covariance function from a sampled and time-limited signal or the cross-covariance function from two such signals, the mean values must be estimated and removed from the signals. If no a priori information about the correct mean values is available and the mean values must be derived from the time series themselves, the estimates will be biased. For the estimation of the variance from independent data the appropriate correction is widely known as Bessel's correction. Similar corrections for the auto-covariance and for the cross-covariance functions are shown here, including individual weighting of the samples. The corrected estimates then can be used to correct also the variance estimate in the case of correlated data. The programs used here are available online at http://sigproc.nambis.de/programs.

研究动机与目标

• 解决当均值从同一有限数据集中估计时，自协方差与互协方差估计器中出现的偏差问题。
• 将常用于方差估计的贝塞尔校正方法扩展至在数据相关条件下的协方差函数估计。
• 提供一种实用且计算可行的方法，通过加权数据与重叠段实现无偏差的协方差估计。
• 通过校正协方差估计器，实现在相关数据存在情况下的准确方差估计。
• 提供完整的开源实现，用于真实世界数据的分析。

提出的方法

• 通过使用自协方差与互协方差的加权和建模估计均值的方差，推导出基于样本的协方差估计偏差。
• 引入一个归一化矩阵，该矩阵基于重叠的数据段与可变权重，将真实协方差函数映射到估计值的期望。
• 使用该归一化矩阵的逆矩阵对原始协方差估计值进行校正，从而获得无偏差估计器。
• 采用双向对称公式，将该方法应用于自协方差与互协方差函数，以支持FFT加速。
• 推导出偏差校正估计器的闭式表达式，包括适用于加权相关数据的广义贝塞尔校正形式。
• 提供完整的代码实现，可在线获取，支持单个样本权重与可变长度信号对。

实验结果

研究问题

• RQ1 当均值从同一数据中估计时，如何将贝塞尔校正从方差扩展到自协方差与互协方差估计？
• RQ2 在数据相关条件下，基于样本的均值减法导致的协方差估计器偏差的解析形式是什么？
• RQ3 在偏差校正的协方差估计框架中，如何处理具有非均匀采样或无效点的加权数据？
• RQ4 是否可以通过对称的双向协方差函数，高效地应用基于FFT的偏差校正？
• RQ5 在数据相关存在的情况下，校正后的协方差估计器与无偏差方差估计之间有何关系？

主要发现

• 由于均值估计导致的样本方差估计偏差，恰好等于均值估计器的方差，后者由真实自协方差函数与样本权重推导得出。
• 推导出偏差校正的方差估计器：$ \hat{s}^2 = s^2 + \sigma_{\bar{x}}^2 $，其中 $ \sigma_{\bar{x}}^2 $ 为均值方差的估计值，当真实方差未知时可提供闭式校正。
• 对于不相关且均匀加权的数据，该方法退化为经典贝塞尔校正形式：$ \hat{s}^2 = \frac{1}{N-1}\sum \tilde{x}_i^2 $，与既定实践保持一致。
• 通过归一化矩阵方法推导出偏差校正的自协方差与互协方差估计器，将该矩阵的逆应用于校正原始估计值。
• 该方法支持单个样本权重，并通过重叠段的归一化处理可变长度信号对，能够在存在不规则性的实际数据中实现稳健估计。
• 作者在 http://sigproc.nambis.de/programs 提供了可工作的实现，截至2020年与2021年持续更新，确保实际可用性。