[论文解读] copent: Estimating Copula Entropy and Transfer Entropy in R

Jian Ma|arXiv (Cornell University)|May 27, 2020

Statistical Methods and Inference参考文献 27被引用 4

一句话总结

本文介绍了 R 包 copent，该包使用 k-最近邻（kNN）方法实现了对互换熵（CE）和转移熵（TE）的非参数估计。该框架统一了统计独立性与条件独立性检验，相较于基于核函数和距离相关性的方法，在模拟数据和真实世界数据上的变量选择与因果发现任务中表现出更优性能，尤其在捕捉有意义的时间因果趋势方面表现突出。

ABSTRACT

Statistical independence and conditional independence are two fundamental concepts in statistics and machine learning. Copula Entropy is a mathematical concept defined by Ma and Sun for multivariate statistical independence measuring and testing, and also proved to be closely related to conditional independence (or transfer entropy). As the unified framework for measuring both independence and causality, CE has been applied to solve several related statistical or machine learning problems, including association discovery, structure learning, variable selection, and causal discovery. The nonparametric methods for estimating copula entropy and transfer entropy were also proposed previously. This paper introduces copent, the R package which implements these proposed methods for estimating copula entropy and transfer entropy. The implementation detail of the package is introduced. Three examples with simulated data and real-world data on variable selection and causal discovery are also presented to demonstrate the usage of this package. The examples on variable selection and causal discovery show the strong ability of copent on testing (conditional) independence compared with the related packages. The copent package is available on the Comprehensive R Archive Network (CRAN) and also on GitHub at https://github.com/majianthu/copent.

研究动机与目标

• 开发一个统一的、理论基础坚实的框架，用于通过互换熵（CE）测量统计独立性与条件独立性。
• 在 R 中实现基于 k-最近邻（kNN）技术的 CE 和 TE 高效非参数估计方法。
• 为变量选择、结构学习和因果发现等应用提供实用工具。
• 将基于 CE 的估计方法与现有的基于核函数和距离相关性的方法在条件独立性检验中的性能进行比较。
• 在真实世界数据上展示该方法的有效性，特别是在捕捉气象因果关系方面。

提出的方法

• 该包通过使用秩统计量的经验 Copula 函数估计，实现非参数 CE 估计。
• 互换熵使用 Kraskov 等人（2004）提出的 k-最近邻（kNN）方法进行估计。
• 转移熵（TE）通过将其表示为 CE 的函数间接估计，基于 Jian（2019）证明的理论等价性。
• 该包提供高层函数如 `transent()` 和 `ci()`，可直接对带时滞的数据进行估计。
• 支持从原始时间序列或经时滞预处理的数据中直接估计。
• 实现经过计算效率优化，可扩展至多变量场景。

实验结果

研究问题

• RQ1 互换熵能否为多变量数据中的统计独立性与条件独立性（因果性）测试提供统一的非参数框架？
• RQ2 在条件独立性检验中，基于 CE 的估计方法相较于基于核函数和距离相关性的方法表现如何？
• RQ3 copent 包能否有效检测真实世界时间序列中的有意义因果关系，例如气象数据？
• RQ4 基于 kNN 的非参数 CE 和 TE 估计在不同时间滞后下是否产生稳定且可解释的结果？
• RQ5 CE 框架在捕捉时间因果趋势方面表现如何，例如在 PM2.5 与大气压数据中观察到的趋势？

主要发现

• copent 包成功使用基于 kNN 的非参数方法估计了互换熵与转移熵，实现了稳健的独立性与因果性检验。
• 在分析 1–24 小时时滞下气压对 PM2.5 的因果关系时，基于 CE 的估计显示出 TE 强度的清晰双阶段趋势——先急剧上升后缓慢下降，与气象学预期一致。
• 基于距离相关性的方法与基于 CE 的方法结果相似，而基于核函数的方法未能表现出相同的时序趋势。
• 该包在变量选择与因果发现任务中表现优异，优于相关 R 包在条件独立性检验中的表现。
• 该实现已发布于 CRAN 和 GitHub，同时配套的 Python 包已在 PyPI 上发布，确保了广泛可及性与可复现性。
• 该框架计算效率高且理论基础坚实，为现有基于核技巧或距离协方差的方法提供了一种统一的替代方案。