[论文解读] ITENE: Intrinsic Transfer Entropy Neural Estimator

Jingjing Zhang, Osvaldo Simeone+3 more|arXiv (Cornell University)|Dec 16, 2019

Model Reduction and Neural Networks参考文献 25被引用 11

一句话总结

本文提出 ITENE，一种用于内在传递熵（ITE）的神经估计器，可从一个时间序列到另一个时间序列中分离出独占的、非协同的信息流。受 MINE 启发，该方法使用 KL 散度的变分界、两样本神经分类器以及路径梯度估计，以准确估计 ITE，在合成数据和真实金融数据中均表现出一致性能，且协同污染极少。

ABSTRACT

Quantifying the directionality of information flow is instrumental in understanding, and possibly controlling, the operation of many complex systems, such as transportation, social, neural, or gene-regulatory networks. The standard Transfer Entropy (TE) metric follows Granger's causality principle by measuring the Mutual Information (MI) between the past states of a source signal $X$ and the future state of a target signal $Y$ while conditioning on past states of $Y$. Hence, the TE quantifies the improvement, as measured by the log-loss, in the prediction of the target sequence $Y$ that can be accrued when, in addition to the past of $Y$, one also has available past samples from $X$. However, by conditioning on the past of $Y$, the TE also measures information that can be synergistically extracted by observing both the past of $X$ and $Y$, and not solely the past of $X$. Building on a private key agreement formulation, the Intrinsic TE (ITE) aims to discount such synergistic information to quantify the degree to which $X$ is \emph{individually} predictive of $Y$, independent of $Y$'s past. In this paper, an estimator of the ITE is proposed that is inspired by the recently proposed Mutual Information Neural Estimation (MINE). The estimator is based on variational bound on the KL divergence, two-sample neural network classifiers, and the pathwise estimator of Monte Carlo gradients.

研究动机与目标

• 为解决标准传递熵（TE）在测量信息流时仅反映总量而非独占量的局限性，因协同效应的混杂影响而产生偏差。
• 开发一种可靠的内在传递熵（ITE）估计器，用于量化源过程 X 独立于目标过程 Y 自身过去历史时，对 Y 的预测能力。
• 实现在闭式解难以求解的复杂系统中对 ITE 的实用估计，特别是在高维或非线性场景下。
• 在具有已知 ITE 值的合成模型和真实金融时间序列（恒生指数 HSI 与道琼斯工业平均指数 DJIA）上验证该估计器，证明其能够有效分离内在与协同信息流。

提出的方法

• 该方法将 ITE 表述为在对 Y 过去状态重新参数化后，对过去 X 与未来 Y 之间条件互信息的最小化问题，基于辅助分布。
• 采用 KL 散度的变分下界，构建可用于神经网络优化的可微目标函数。
• 训练两样本神经网络分类器，以区分过去 X 与过去 Y 的联合样本与独立样本，从而通过重参数化技巧实现梯度估计。
• 估计器使用路径梯度估计方法，实现通过神经网络的反向传播，支持 ITE 目标函数的端到端训练。
• 网络架构包含两层隐藏层，每层 100 个神经元（使用 ELU 激活函数）用于分类器，以及一个独立的 200 个神经元的网络，输出为均值和对数方差，用于辅助分布 p(ỹ⁻|y⁻)。
• 数据被划分为 75% 用于训练，25% 用于评估，学习率为 0.001，梯度裁剪参数 τ=0.9。

实验结果

研究问题

• RQ1 在存在协同信息流的情况下，基于神经网络的估计器能否准确估计内在传递熵（ITE）？
• RQ2 在合成模型中，所提出的 ITENE 估计器与标准 TE 和 STE 相比，在分离独占信息流与协同信息流方面表现如何？
• RQ3 随着样本数量 T 增加，估计器是否保持一致性和准确性？
• RQ4 ITENE 能否在现实世界金融时间序列（如恒生指数和道琼斯指数）中检测并量化内在信息流？

主要发现

• 在具有阈值 λ 的合成模型中，ITENE 估计值紧密跟踪真实 ITE 值，在 λ ≤ -2 和 λ ≥ 2 时 STE 接近零，表明此时信息流为纯粹内在或完全缺失。
• 在中间 λ 值（如 λ=0）时，估计器检测到显著的 STE，证实联合观测 X 和 Y 的过去可提升对 Y 的预测能力，验证了内在与协同分量的分解有效性。
• 随着样本数 T 增加，所有估计值（TE、ITE、STE 和 TENE）均收敛至真实值，证明 ITENE 估计器具有良好的一致性。
• 在真实世界 HSI-DJIA 分析中，ITENE 显示从 DJIA 到 HSI 的信息流显著更具内在性，TE 显著高于 ITE，表明其预测能力主要源于 DJIA 自身的历史，而非联合效应。
• 该方法成功在复杂非线性系统中分离出内在信息流，而传统 TE 因协同贡献而高估因果影响。