[论文解读] An Adaptive Test of Independence with Analytic Kernel Embeddings

Wittawat Jitkrittum, Zoltán Szabó+1 more|arXiv (Cornell University)|Oct 15, 2016

Statistical Methods and Inference被引用 16

一句话总结

本文提出了一种基于解析核嵌入的自适应、线性时间独立性检验，用于度量随机变量之间的依赖关系。通过优化最大化统计功效的特征，该方法实现了高效率和一致性，优于现有的 O(n) 和 O(n log n) 检验方法，同时与二次时间复杂度的 HSIC 基准性能相当。

ABSTRACT

A new computationally efficient dependence measure, and an adaptive statistical test of independence, are proposed. The dependence measure is the difference between analytic embeddings of the joint distribution and the product of the marginals, evaluated at a finite set of locations (features). These features are chosen so as to maximize a lower bound on the test power, resulting in a test that is data-efficient, and that runs in linear time (with respect to the sample size n). The optimized features can be interpreted as evidence to reject the null hypothesis, indicating regions in the joint domain where the joint distribution and the product of the marginals differ most. Consistency of the independence test is established, for an appropriate choice of features. In real-world benchmarks, independence tests using the optimized features perform comparably to the state-of-the-art quadratic-time HSIC test, and outperform competing O(n) and O(n log n) tests.

研究动机与目标

• 开发一种计算高效的非参数独立性检验，避免传统 HSIC 方法的 O(n²) 计算成本。
• 通过优化解析核嵌入中的特征位置以最大化检验功效，确保数据效率。
• 在适当的特征选择下，建立测试的一致性，即使在有限特征的情况下亦可实现。
• 为检验统计量提供与分布无关的阈值，以支持实际应用。
• 在真实世界基准测试中，优于现有的 O(n) 和 O(n log n) 方法，同时保持高检验功效。

提出的方法

• 该方法使用有限的解析特征对联合分布和乘积边际分布进行嵌入，并通过协方差度量其差异。
• 通过最大化检验功效的下界来选择特征，使测试具备自适应性和数据效率。
• 检验统计量基于归一化的有限集独立性准则（NFSIC），其具有与分布无关的渐近阈值。
• 该方法利用再生核希尔伯特空间（RKHS）理论和解析核，确保理论一致性。
• 通过避免完整核矩阵的计算，仅使用优化后的特征评估，使算法运行时间复杂度为 O(n)。
• 该方法将所选特征解释为依赖的证据，突出显示联合域中 P_xy ≠ P_x × P_y 的区域。

实验结果

研究问题

• RQ1 能否设计一种线性时间独立性检验，使其功效与二次时间复杂度的 HSIC 相当，同时更加高效？
• RQ2 如何自适应地选择核嵌入中的特征以最大化检验功效？
• RQ3 在嵌入空间中使用有限数量的解析特征时，是否仍可实现一致性？
• RQ4 能否在不使用置换或特征值分解的情况下，为检验统计量推导出与分布无关的阈值？
• RQ5 在经验上，自适应特征选择与随机或分块特征方法相比表现如何？

主要发现

• 在适当的特征选择下，所提出的检验即使在使用有限数量的解析特征时也表现出一致性。
• 该方法运行时间复杂度为线性 O(n)，显著优于标准 HSIC 的 O(n²) 成本。
• 在真实世界基准测试中，该检验的性能与最先进的 HSIC 相当，并优于其他 O(n) 和 O(n log n) 方法。
• 经过优化的特征提供了可解释的依赖证据，突出显示了联合域中 P_xy ≠ P_x × P_y 的区域。
• 归一化的 NFSIC 统计量具有与分布无关的渐近阈值，使得无需置换即可进行实际推断。
• 该方法在高维设置中表现出强劲的实证性能，尤其在特征设计具有挑战性的场景下。