[论文解读] Granger Causality Networks for Categorical Time Series

Alex Tank, Emily B. Fox+1 more|arXiv (Cornell University)|Jun 8, 2017

Time Series Analysis and Forecasting参考文献 16被引用 11

一句话总结

本文提出了一种Mixture Transition Distribution（MTD）模型的凸重参数化方法，用于在多元分类时间序列中学习Granger因果网络，克服了其传统的非凸性与可识别性问题。该方法通过使用Dykstra风格投影的投影梯度算法，实现了高效、高维的估计，在可解释性和稀疏性方面优于多项式逻辑转移分布（mLTD），同时在模型误设情况下仍保持优异性能。

ABSTRACT

We present a new framework for learning Granger causality networks for multivariate categorical time series, based on the mixture transition distribution (MTD) model. Traditionally, MTD is plagued by a nonconvex objective, non-identifiability, and presence of many local optima. To circumvent these problems, we recast inference in the MTD as a convex problem. The new formulation facilitates the application of MTD to high-dimensional multivariate time series. As a baseline, we also formulate a multi-output logistic autoregressive model (mLTD), which while a straightforward extension of autoregressive Bernoulli generalized linear models, has not been previously applied to the analysis of multivariate categorial time series. We develop novel identifiability conditions of the MTD model and compare them to those for mLTD. We further devise novel and efficient optimization algorithm for the MTD based on the new convex formulation, and compare the MTD and mLTD in both simulated and real data experiments. Our approach simultaneously provides a comparison of methods for network inference in categorical time series and opens the door to modern, regularized inference with the MTD model.

研究动机与目标

• 解决MTD模型在多元分类时间序列中长期存在的计算与可识别性挑战。
• 为MTD开发一种凸优化框架，以实现Granger因果网络的正则化、高维推断。
• 建立MTD的新可识别性条件，并与多项式逻辑转移分布（mLTD）的条件进行比较。
• 为分类时间序列网络推断提供一种计算高效且可解释的替代模型。
• 通过新颖的重参数化与优化策略，使MTD能够可扩展地应用于现代高维数据集。

提出的方法

• 通过一种新颖的重参数化方法，将MTD模型重新表述为凸优化问题，将非凸约束转化为凸约束。
• 引入带有稀疏性诱导惩罚的惩罚似然框架，以促进稀疏Granger因果网络的构建。
• 开发一种使用Dykstra分裂法的投影梯度算法，以高效地将解投影到MTD模型的凸约束集上。
• 利用凸惩罚强制执行可识别性约束，替代以往非凸且难以满足的条件。
• 将MTD方法与一种新颖基线模型——多输出逻辑转移分布（mLTD）进行比较，该模型将自回归GLM扩展至多项式结果。
• 在模拟数据和真实数据集（包括巴赫合唱和声数据）上应用MTD和mLTD模型，以评估性能与可解释性。

实验结果

研究问题

• RQ1 非凸MTD模型能否被重构成凸优化问题，以实现可扩展的高维推断？
• RQ2 MTD模型的新可识别性条件是什么？与mLTD模型的条件相比如何？
• RQ3 与mLTD模型相比，凸MTD框架在网络稀疏性、可解释性以及模型误设下的鲁棒性方面表现如何？
• RQ4 所提出的结合Dykstra方法的投影梯度算法能否高效处理高维分类时间序列数据？
• RQ5 MTD模型在多大程度上能恢复多元分类时间序列中真实的因果结构，尤其是在真实数据生成过程被误设的情况下？

主要发现

• 所提出的凸MTD公式化方法实现了在高维多元分类时间序列中的高效、可扩展推断，克服了先前非凸优化与局部最优解的局限。
• 推导出MTD的新可识别性条件，并证明可通过凸惩罚强制执行，从而确保模型的一致性。
• 结合Dykstra分裂法的投影梯度算法实现了对MTD约束集的快速且精确的投影，支持大规模应用。
• 在巴赫合唱和声的真实数据分析中，MTD模型恢复了一个稀疏且可解释的网络，其和弦音与和弦之间存在强关联，与音乐理论一致。
• MTD模型产生的网络比mLTD更稀疏、更具可解释性，而mLTD因softmax函数的非线性导致链接强度度量不直观。
• 模拟与真实数据结果表明，尽管MTD与mLTD在模型误设下均表现良好，但MTD在可解释性与结构恢复方面具有显著优势。