[论文解读] An Online Algorithm for Nonparametric Correlations

Xiao Wei|arXiv (Cornell University)|Dec 5, 2017

Advanced Statistical Methods and Models参考文献 8被引用 7

一句话总结

本文提出了首个用于计算斯皮尔曼等级相关系数和肯德尔等级相关系数的在线算法，时间与内存复杂度均为 O(1)，实现了流数据的实时分析。通过使用固定大小的切点矩阵对二元分布进行粗粒度化，该方法在保持高精度的同时，相比批处理方法实现了 10 至 1,000 倍的速度提升，尤其在切点数量充足时表现更优。

ABSTRACT

Nonparametric correlations such as Spearman's rank correlation and Kendall's tau correlation are widely applied in scientific and engineering fields. This paper investigates the problem of computing nonparametric correlations on the fly for streaming data. Standard batch algorithms are generally too slow to handle real-world big data applications. They also require too much memory because all the data need to be stored in the memory before processing. This paper proposes a novel online algorithm for computing nonparametric correlations. The algorithm has O(1) time complexity and O(1) memory cost and is quite suitable for edge devices, where only limited memory and processing power are available. You can seek a balance between speed and accuracy by changing the number of cutpoints specified in the algorithm. The online algorithm can compute the nonparametric correlations 10 to 1,000 times faster than the corresponding batch algorithm, and it can compute them based either on all past observations or on fixed-size sliding windows.

研究动机与目标

• 解决流数据环境中非参数相关性计算缺乏高效在线算法的问题。
• 克服批处理方法因需排序并存储全部历史数据而带来的高计算与内存开销。
• 实现在处理能力与内存受限的边缘设备上，对实时数据进行低延迟、鲁棒的相关性计算。
• 通过可调节的切点选择，提供速度与精度之间的可调权衡。
• 在动态、现实的应用场景中，有效支持累积与固定大小滑动窗口的相关性计算。

提出的方法

• 该算法使用用户定义的 X 和 Y 的切点，将流数据 (X, Y) 的二元分布粗粒度化为一个小型矩阵 M。
• 在矩阵 M 内维护充分统计量——一致对与不一致对的计数以及相持值的计数，以实现相关性的增量计算。
• 对于斯皮尔曼等级相关系数，通过切点对输入值进行基于秩的变换以近似秩。
• 对于肯德尔等级相关系数，跟踪在分箱矩阵 M 中的一致对数 (P)、不一致对数 (Q) 以及相持对数 (T, U)。
• 该算法通过增量更新矩阵 M 和汇总统计量，实现每个新数据点的 O(1) 时间复杂度相关性估计更新。
• 切点根据需求自适应选择——可为观测数据的分位数，或为保留唯一值而设定，具体取决于期望的精度与数据结构。

实验结果

研究问题

• RQ1 是否能在内存受限且每次更新时间恒定的条件下，实现实时流数据中非参数相关性的高效计算？
• RQ2 在使用分箱数据表示时，在线非参数相关性估计与批处理结果的近似精度如何？
• RQ3 切点数量对在线相关性估计中速度与精度权衡的影响是什么？
• RQ4 所提出的算法能否有效处理累积与固定大小滑动窗口的相关性计算？
• RQ5 在存在异常值与非正态分布的现实世界传感器数据上，该算法表现如何？

主要发现

• 在线算法实现了 O(1) 的时间与内存复杂度，支持在资源受限的边缘设备上部署。
• 该算法的计算速度比批处理方法快 10 至 1,000 倍，具体取决于数据规模与配置。
• 当使用 30 个切点时，即使切点数量较少，在线斯皮尔曼等级相关系数估计也具有高度准确性。
• 对于肯德尔等级相关系数，随着切点数量增加，精度显著提升——当相关性较高且数据集中于对角线时，偏差会增大。
• 在工业传感器数据 S1 中使用 19 个切点，该算法在斯皮尔曼相关系数上实现 20–50 倍的加速，在肯德尔相关系数上实现 5–20 倍的加速。
• 当切点设置为保留唯一值（如 S1 中为 120 个）时，该在线算法与批处理结果完全一致，并实现了显著的速度提升。