[论文解读] Economy Statistical Recurrent Units For Inferring Nonlinear Granger Causality

Saurabh Khanna, Vincent Y. F. Tan|arXiv (Cornell University)|Nov 22, 2019

Functional Brain Connectivity Studies参考文献 31被引用 7

一句话总结

本文提出economy-SRU（eSRU），一种轻量级、促进稀疏性的统计循环单元（SRU）变体，用于从时间序列数据中推断非线性格兰杰因果关系。通过在其隐藏状态中引入结构化稀疏正则化和低维随机投影，该模型有效捕捉了时间局部化的预测特征，在合成数据、fMRI和基因调控网络基准测试中，相较于MLP、LSTM和注意力门控CNN，能更优地恢复真实因果网络，且显著减少过拟合。

ABSTRACT

Granger causality is a widely-used criterion for analyzing interactions in large-scale networks. As most physical interactions are inherently nonlinear, we consider the problem of inferring the existence of pairwise Granger causality between nonlinearly interacting stochastic processes from their time series measurements. Our proposed approach relies on modeling the embedded nonlinearities in the measurements using a component-wise time series prediction model based on Statistical Recurrent Units (SRUs). We make a case that the network topology of Granger causal relations is directly inferrable from a structured sparse estimate of the internal parameters of the SRU networks trained to predict the processes$'$ time series measurements. We propose a variant of SRU, called economy-SRU, which, by design has considerably fewer trainable parameters, and therefore less prone to overfitting. The economy-SRU computes a low-dimensional sketch of its high-dimensional hidden state in the form of random projections to generate the feedback for its recurrent processing. Additionally, the internal weight parameters of the economy-SRU are strategically regularized in a group-wise manner to facilitate the proposed network in extracting meaningful predictive features that are highly time-localized to mimic real-world causal events. Extensive experiments are carried out to demonstrate that the proposed economy-SRU based time series prediction model outperforms the MLP, LSTM and attention-gated CNN-based time series models considered previously for inferring Granger causality.

研究动机与目标

• 为解决基于线性模型的格兰杰因果在非线性系统中的局限性，尤其在轻微非线性下标准方法失效的问题。
• 开发一种基于深度学习的时间序列预测框架，能够从多变量时间序列中推断非线性成对格兰杰因果关系。
• 通过设计参数高效、结构化稀疏的循环架构，在高维、小样本设置中减少过拟合。
• 通过战略性正则化，实现从循环模型内部参数直接推断网络拓扑结构。

提出的方法

• 提出economy-SRU（eSRU），一种SRU的变体，通过随机投影对高维隐藏状态计算低维投影，以减少参数量和过拟合。
• 对内部权重参数施加分组正则化，以促进时间局部化、有意义的预测特征，模拟现实世界中的因果事件。
• 使用分量自回归模型（公式1）表示n个随机过程之间的非线性相互作用，每个分量通过eSRU进行预测。
• 使用均方误差损失训练eSRU以预测单个时间序列分量，格兰杰因果关系拓扑结构通过模型内部参数的结构化稀疏性推断得出。
• 将框架应用于因果网络推断，通过识别在正则化模型中非零权重的过去输入，判断其对预测的显著贡献。

实验结果

研究问题

• RQ1 参数高效、稀疏的循环模型是否能在有限时间序列数据下，优于标准深度学习架构，用于推断非线性格兰杰因果？
• RQ2 循环模型内部参数中的结构化稀疏性是否能直接反映潜在的因果网络拓扑？
• RQ3 SRU隐藏状态中的随机投影是否能在保持因果推断预测能力的同时减少过拟合？
• RQ4 eSRU在恢复多样化数据集中的真实因果网络方面，相较于MLP、LSTM和注意力门控CNN的性能如何？

主要发现

• 在T=1000个时间序列样本下，eSRU在合成VAR数据集上的平均AUROC达到0.98±0.01，近乎完美地恢复了真实的格兰杰因果网络。
• 在T=200的fMRI BOLD数据上，eSRU的平均AUROC为0.84±0.03，优于MLP（0.81±0.04）、LSTM（0.70±0.03）和TCDF（0.75±0.04）。
• 在DREAM-3计算机模拟网络挑战中，21个时间点下，eSRU在E.coli-1上取得最高AUROC 0.660，在E.coli-2上为0.629，优于MLP、LSTM和TCDF在五个网络中的四个。
• 在T=500时，eSRU与MLP在平均AUROC上无显著差异，但在T=1000时eSRU表现更优，表明其在更多数据下具有更好的泛化能力。
• eSRU参数的结构化稀疏估计可直接揭示格兰杰因果关系的网络拓扑，验证了该方法的可解释性。