[论文解读] Estimating Transfer Entropy via Copula Entropy

Jian Ma|arXiv (Cornell University)|Oct 10, 2019

Statistical Methods and Inference参考文献 47被引用 15

一句话总结

本文提出一种基于互克隆熵（CE）的非参数方法来估计转移熵（TE），证明TE可完全通过CE表示。该方法应用于北京PM2.5数据，有效推断气象因素与空气污染之间的因果关系，相较于基于高斯假设的方法，避免了分布约束，揭示了天气对PM2.5存在约9小时的滞后因果效应。

ABSTRACT

Causal discovery is a fundamental problem in statistics and has wide applications in different fields. Transfer Entropy (TE) is a important notion defined for measuring causality, which is essentially conditional Mutual Information (MI). Copula Entropy (CE) is a theory on measurement of statistical independence and is equivalent to MI. In this paper, we prove that TE can be represented with only CE and then propose a non-parametric method for estimating TE via CE. The proposed method was applied to analyze the Beijing PM2.5 data in the experiments. Experimental results show that the proposed method can infer causality relationships from data effectively and hence help to understand the data better.

研究动机与目标

• 为解决时间序列中因果性关键度量——转移熵（TE）的可靠估计问题，该问题因高维条件密度估计而长期难以处理。
• 建立TE与互克隆熵（CE）之间的理论联系，证明TE可仅通过CE表示，从而实现新的估计框架。
• 开发一种非参数、无模型的TE估计方法，避免参数假设，提升在非高斯、非线性系统中的鲁棒性。
• 在真实世界环境数据上验证该方法，特别是北京PM2.5与气象时间序列，以揭示空气质量动态中的因果关系。

提出的方法

• 提供理论证明，表明转移熵（TE）可完全以互克隆熵（CE）表示，从而无需直接进行条件密度估计。
• 该方法通过两步实现TE估计：首先使用非参数核密度估计法估计联合分布与条件分布的CE，然后应用推导出的基于CE的TE表达式。
• 该方法利用CE与互信息（MI）之间的等价性，使CE能够作为单调变换下统计依赖性的稳健且不变的度量。
• 该方法应用于观测时间序列数据，通过经验互克隆密度估计计算CE，再利用推导出的解析公式转换为TE。
• 估计过程在马尔可夫性和平稳性假设下得到验证，这些假设通过数据中时滞依赖性的实证分析得到支持。

实验结果

研究问题

• RQ1 转移熵能否仅通过互克隆熵表示，从而实现新的非参数估计框架？
• RQ2 所提出的基于CE的TE估计方法在识别真实非线性、非高斯时间序列（如空气质量数据）中的因果关系方面表现如何？
• RQ3 北京气象因素与PM2.5水平之间的因果影响具有怎样的时间滞后结构？
• RQ4 与依赖高斯假设或参数模型的现有TE估计技术相比，该方法表现如何？

主要发现

• 所提方法成功推断出露点和气压等气象因素对PM2.5水平具有因果影响，且因果影响在约9小时滞后时达到峰值。
• 风速对温度和气压的因果影响时间更短，分别为3小时和5小时，表明大气反馈机制响应更快。
• 该方法揭示因果效应随时间累积，呈现两阶段模式：前9小时TE迅速上升，随后增长趋于平缓，表明存在累积性大气过程。
• 与相关性分析结果不同，TE在温度与PM2.5之间明显上升，表明关联性不等于因果性，凸显该方法识别真实因果关系的能力。
• 该方法在非高斯、非线性大气系统中优于基于高斯假设的TE估计器，避免了模型误设问题。