[论文解读] $k$-NN Estimation of Directed Information

Yonathan Murin|arXiv (Cornell University)|Nov 22, 2017

Neural Networks and Applications参考文献 22被引用 9

一句话总结

本文提出了两种基于k-最近邻（k-NN）的估计器，用于估计离散时间、连续幅值随机过程之间的定向信息（DI），该方法利用不同范数下的最近邻距离。该方法实现了非参数化的线性和非线性因果影响检测，数值结果表明即使在小样本量（N=3000）下也能实现精确估计，优于现有方法如JVHW和GOV，在捕捉因果方向性和强度方面表现更优。

ABSTRACT

This report studies data-driven estimation of the directed information (DI) measure between two{em discrete-time and continuous-amplitude} random process, based on the $k$-nearest-neighbors ($k$-NN) estimation framework. Detailed derivations of two $k$-NN estimators are provided. The two estimators differ in the metric based on which the nearest-neighbors are found. To facilitate the estimation of the DI measure, it is assumed that the observed sequences are (jointly) Markovian of order $m$. As $m$ is generally not known, a data-driven method (that is also based on the $k$-NN principle) for estimating $m$ from the observed sequences is presented. An exhaustive numerical study shows that the discussed $k$-NN estimators perform well even for relatively small number of samples (few thousands). Moreover, it is shown that the discussed estimators are capable of accurately detecting linear as well as non-linear causal interactions.

研究动机与目标

• 开发一种非参数化、数据驱动的定向信息（DI）估计器，用于连续幅值时间序列之间，无需假设参数模型。
• 解决在传统格兰杰因果性因非线性或缺乏模型假设而失效的情况下，估计因果影响的挑战。
• 提供一种基于k-NN的框架，通过最近邻距离进行局部密度近似来估计DI，确保对复杂依赖关系的鲁棒性。
• 提出一种数据驱动方法，用于估计底层过程的马尔可夫阶数m，该阶数在实际中通常未知。
• 评估所提估计器在不同噪声水平和耦合强度下检测线性和非线性因果相互作用的性能。

提出的方法

• 在ℓp-范数空间中使用k-最近邻距离估计微分熵，利用第k个最近邻距离来近似局部密度。
• 将k-NN框架扩展至估计随机向量之间的互信息（MI），通过结合联合空间和边缘空间的最近邻距离实现。
• 将k-NN MI估计器应用于计算两个时间序列之间的定向信息（DI），假设过程为m阶联合马尔可夫过程。
• 采用基于k-NN的程序从数据中估计马尔可夫阶数m，避免依赖于过程记忆的先验知识。
• 采用两种k-NN估计器变体，其区别在于计算最近邻距离所使用的ℓp-范数（例如ℓ1与ℓ2），以实现鲁棒性分析。
• 在具有已知因果结构的合成时间序列上验证估计器性能，与成熟方法如JVHW和GOV进行比较。

实验结果

研究问题

• RQ1 基于k-NN的估计能否有效估计在未知动力学下连续幅值、非参数化时间序列之间的定向信息？
• RQ2 所提出的k-NN估计器在线性和非线性耦合场景下检测因果影响的准确性如何？
• RQ3 在不同噪声水平和样本量下，特别是小样本数据集（如N=3000）下，k-NN估计器的性能如何？
• RQ4 当真实阶数未知时，数据驱动的马尔可夫阶数m估计在实际中表现如何？
• RQ5 与现有方法（如JVHW、GOV、GC）相比，k-NN估计器在检测因果方向性和强度方面表现如何？

主要发现

• 在线性耦合模型中，随着耦合强度β增大，k-NN估计器能准确检测出X对Y的因果影响增强，当β > 0.7时DI出现急剧下降，对应于确定性同步状态。
• 在S型耦合模型中，k-NN估计器正确识别出X对Y的DI随β增加而上升，而Y对X的DI估计值可忽略，与理论预期一致。
• 在β > 0.7时，k-NN估计器在捕捉因果影响下降方面优于GOV和JVHW估计器，而JVHW估计器未能检测到该下降。
• 在高噪声（γ = 0.3）条件下，k-NN估计器仍保持鲁棒性，能一致估计因果影响，而GC估计器尽管存在明显的非线性耦合，却未能检测到任何显著因果性。
• 基于k-NN的马尔可夫阶数m估计方法有效，且可无缝集成到估计流程中，提升了整体鲁棒性。
• 即使仅有3000个样本，k-NN估计器也表现出强劲性能，表明其适用于数据有限的实际应用场景。