[论文解读] copent: Estimating Copula Entropy in R.

Jian Ma|arXiv (Cornell University)|May 27, 2020

Data Analysis with R被引用 3

一句话总结

本文介绍了 copent，一个使用秩统计量和k-最近邻（k-NN）方法非参数估计互换熵（Copula Entropy）的R包，实现了对统计独立性和条件独立性的稳健检验。主要贡献在于提供了一个实用的开源实现，可在CRAN和GitHub上获取，并在模拟数据和真实世界数据中展示了其在因果发现中的应用。

ABSTRACT

Statistical independence and conditional independence are the fundemental concepts in statistics and machine learning. Copula Entropy is a mathematical concept for multivariate statistical independence measuring and testing, and also closely related to conditional independence or transfer entropy. It has been applied to solve several statistical or machine learning problems, including association discovery, structure learning, variable selection, and causal discovery. Copula entropy was proposed to be estimated nonparametrically with rank statistic and the kNN method for estimating entropy. copent, is a R package which implements this proposed method for estimating copula entropy. The implementation detail of the package is presented in this paper. Two illustration examples with simulated data and real-world data on causal discovery are also presented. The copent package is available on the Comprehensive R Archive Network (CRAN) and also on GitHub at this https URL.

研究动机与目标

• 为多变量独立性检验提供一种可靠、非参数的互换熵估计方法。
• 基于基于秩的k-NN方法，实现计算高效且统计稳健的估计技术。
• 提供一个用户友好的R包，支持因果发现、结构学习和变量选择等应用。
• 在因果推断背景下，展示互换熵估计在模拟数据和真实世界数据集中的实用性。

提出的方法

• 通过基于秩的数据转换来估计互换熵，以消除边缘分布的影响。
• 应用k-最近邻（k-NN）方法，从转换后的秩数据中估计熵。
• 利用互换熵在单调边缘变换下的不变性。
• 实现采用高效的最近邻搜索算法，以计算局部密度估计。
• 该包与标准R工作流集成，并支持向量化计算以实现可扩展性。
• 通过模拟研究和真实世界的因果发现任务对估计方法进行了验证。

实验结果

研究问题

• RQ1 在高维设置下，基于秩的k-NN方法在多大程度上能准确估计互换熵？
• RQ2 所提出的方法能否在多变量数据中有效检测统计独立性和条件独立性？
• RQ3 与现有方法相比，copent包在真实世界因果发现任务中的表现如何？
• RQ4 在实际应用中，基于k-NN的互换熵估计器在计算效率和可扩展性方面表现如何？

主要发现

• copent包成功实现了基于秩统计量和k-NN方法的非参数互换熵估计。
• 该方法在模拟数据中检测统计独立性和条件独立性方面表现出色。
• 该包在真实世界数据集中有效识别了因果结构，支持因果发现应用。
• 该实现已发布于CRAN和GitHub，确保了广泛的可访问性和可重复性。
• 基于秩的转换确保了对边缘分布假设的稳健性。
• k-NN方法即使在中等样本量下也能提供稳定的熵估计。