[论文解读] Computing the Bergsma Dassios sign-covariance

Yair Heller, Ruth Heller|arXiv (Cornell University)|May 27, 2016

Random Matrices and Applications被引用 11

一句话总结

本文提出了一种优化算法，以 O(n²) 时间复杂度计算 Bergsma-Dassios 符号协方差，优于以往的 O(n² log n) 和 O(n⁴) 方法。通过基于秩的预处理实现高效的累积分布计算，并结合常数时间范围查询，该方法在保持精确性的同时，实现了对有 ties 和无 ties 数据的二次时间复杂度。

ABSTRACT

Bergsma and Dassios (2014) introduced an independence measure which is zero if and only if two random variables are independent. This measure can be naively calculated in $O(n^4)$. Weihs et al. (2015) showed that it can be calculated in $O(n^2 \log n)$. In this note we will show that using the methods described in Heller et al. (2016), the measure can easily be calculated in only $O(n^2)$.

研究动机与目标

• 将计算 Bergsma-Dassios 符号协方差的时间复杂度从 O(n⁴) 和 O(n² log n) 降低至 O(n²)。
• 实现对有 ties 和无 ties 数据的快速、精确的独立性度量计算。
• 证明 Heller 等人（2016）的方法可被适配以实现该统计量的最优时间复杂度。
• 提供一种实用且可扩展的算法，适用于多元统计中的大规模独立性检验。

提出的方法

• 将原始数据转换为秩，将问题简化为在离散有序对上的组合计数任务。
• 通过在网格上使用动态规划，在 O(n²) 时间内构建秩对上的二维经验累积分布函数 A(r,s)。
• 利用累积分布 A(r,s)，通过范围查询在 O(1) 时间内为每对 (k,l) 计算 M< 和 M> 的计数。
• 对于有 ties 的数据，通过行方向的累积和扩展累积结构，以处理同一秩上的多个观测值。
• 通过从 A(r,s) 衍生的辅助计数（top, mid, bot, eqMin, eqMax）在 O(1) 时间内每对计算不一致四元组计数 Nd(k,l)。
• 使用第二个累积结构 A(r,s) 跟踪 tied 观测值的平方计数，以高效处理不一致公式中的复杂最后一项。

实验结果

研究问题

• RQ1 Bergsma-Dassios 符号协方差能否在 O(n²) 时间内对有 ties 和无 ties 数据进行计算？
• RQ2 在朴素 O(n⁴) 方法之外，计算该独立性度量所需的最小计算开销是多少？
• RQ3 Heller 等人（2016）提出的基于秩的累积分布技术能否被适配以支持完整的 Bergsma-Dassios 统计量？
• RQ4 在实践中，该 O(n²) 方法与现有 O(n² log n) 方法的性能相比如何？
• RQ5 ties 对不一致四元组的结构有何影响，以及如何高效计数？

主要发现

• 通过基于秩的预处理和在累积分布网格上的常数时间范围查询，Bergsma-Dassios 符号协方差可在 O(n²) 时间内精确计算。
• 一致四元组数量 Nc 通过在预计算的 A(r,s) 矩阵上进行 O(1) 范围查询计算，将总成本降低至 O(n²)。
• 对于有 ties 的数据，该方法通过将贡献分解为 top、mid、bot 和相等项，正确计算不一致四元组计数 Nd，每项均可在 O(1) 时间内获取。
• 不一致公式中的最后一项通过跟踪 tied 观测值平方计数的第二个累积结构计算，实现每对 O(1) 的评估。
• 该算法保持精确性，能处理所有边界情况，包括 tied 秩和相同值，确保在所有数据类型下的正确性。
• 整体时间复杂度为最优的 O(n²)，相较于 Weihs 等人（2015）建立的先前 O(n² log n) 上限有显著改进。