[论文解读] An Interpretable and Sparse Neural Network Model for Nonlinear Granger Causality Discovery

Alex Tank, Ian Cover+3 more|arXiv (Cornell University)|Nov 22, 2017

Statistical Methods and Inference参考文献 9被引用 12

一句话总结

该论文提出了一种基于输入到隐藏层权重上分组lasso和分层分组lasso惩罚的稀疏可解释神经网络模型，用于非线性格兰杰因果发现。通过在编码层施加稀疏性，该方法能够识别哪些过去时间序列滞后对目标序列具有因果影响，在线性VAR和非线性Lorenz-96模型上均实现了稳定估计。

ABSTRACT

While most classical approaches to Granger causality detection repose upon linear time series assumptions, many interactions in neuroscience and economics applications are nonlinear. We develop an approach to nonlinear Granger causality detection using multilayer perceptrons where the input to the network is the past time lags of all series and the output is the future value of a single series. A sufficient condition for Granger non-causality in this setting is that all of the outgoing weights of the input data, the past lags of a series, to the first hidden layer are zero. For estimation, we utilize a group lasso penalty to shrink groups of input weights to zero. We also propose a hierarchical penalty for simultaneous Granger causality and lag estimation. We validate our approach on simulated data from both a sparse linear autoregressive model and the sparse and nonlinear Lorenz-96 model.

研究动机与目标

• 解决线性格兰杰因果方法在捕捉非线性时间序列依赖关系方面的局限性。
• 开发一种基于神经网络的方法，实现对多变量时间序列中非线性因果关系的可解释识别。
• 通过在输入权重上施加稀疏性，识别哪些时间序列的过去滞后对目标序列具有格兰杰因果影响。
• 通过分层惩罚结构，同时估计格兰杰因果关系和最优滞后阶数。
• 在具有线性自回归特性和非线性动力系统（如Lorenz-96模型）的数据上验证该方法。

提出的方法

• 使用多层感知机（MLP），为每个输出序列设置独立网络，以解耦不同因果影响。
• 对连接过去滞后与隐藏单元的第一层权重施加分组lasso惩罚，强制输入贡献的稀疏性。
• 将格兰杰非因果性定义为某一序列过去滞后所有输出权重为零，从而实现直接选择。
• 采用分层分组lasso惩罚，同时选择因果序列及其最优滞后阶数。
• 使用固定且较大的滞后范围K，并允许分层惩罚自动将不必要的高阶滞后设为零。
• 通过正则化优化估计模型，最小化预测误差并引入分组稀疏性惩罚。

实验结果

研究问题

• RQ1 具有结构化稀疏性的神经网络模型能否在多变量时间序列中识别出非线性格兰杰因果关系？
• RQ2 对输入权重施加分组lasso惩罚是否能有效恢复线性和非线性时间序列中的真实因果结构？
• RQ3 分层分组lasso惩罚能否同时实现格兰杰因果选择和最优滞后阶数估计？
• RQ4 该方法在非线性动力系统（如Lorenz-96模型）上的图恢复AUC表现如何？
• RQ5 随着样本量增加，该方法是否表现出一致性，趋近于对真实因果连接的完美检测？

主要发现

• 随着样本量增加，该方法在模拟的线性VAR数据上AUC值趋近于1，表明具有统计一致性。
• 在非线性Lorenz-96模型上，AUC值也随样本量增加趋近于1，证明其对非线性关系具有强鲁棒性。
• 分层分组lasso惩罚成功识别出因果交互的正确滞后阶数，当高阶滞后不必要时自动设为零。
• 模型能准确恢复稀疏因果图，估计出的边与真实底层格兰杰因果结构一致。
• 分组lasso惩罚有效消除了无关输入序列，生成稀疏且可解释的因果网络。
• 在非线性场景下，该方法优于传统线性方法，能够捕捉复杂且非加性的依赖关系。