[论文解读] Learning the Dependence Graph of Time Series with Latent Factors

Ali Jalali, Sujay Sanghavi|arXiv (Cornell University)|Jun 9, 2011

Complex Systems and Time Series Analysis参考文献 47被引用 32

一句话总结

本文提出了一种凸优化方法，用于在存在潜变量的情况下，从高维线性随机动力系统中学习观测时间序列变量之间的依赖结构。通过利用潜因子的低秩结构以及观测依赖关系的稀疏性，该方法在高维尺度下以高概率恢复真实的依赖图，为当潜变量数量小于观测变量数量时的结构恢复提供了理论保证。

ABSTRACT

This paper considers the problem of learning, from samples, the dependency structure of a system of linear stochastic differential equations, when some of the variables are latent. In particular, we observe the time evolution of some variables, and never observe other variables; from this, we would like to find the dependency structure between the observed variables - separating out the spurious interactions caused by the (marginalizing out of the) latent variables' time series. We develop a new method, based on convex optimization, to do so in the case when the number of latent variables is smaller than the number of observed ones. For the case when the dependency structure between the observed variables is sparse, we theoretically establish a high-dimensional scaling result for structure recovery. We verify our theoretical result with both synthetic and real data (from the stock market).

研究动机与目标

• 解决在部分变量为潜变量且未被观测时，学习时间序列依赖结构的挑战。
• 分离由对潜时间序列变量进行边际化而引起的虚假交互作用。
• 开发一种基于凸优化的方法，即使存在潜混杂因素，也能恢复观测变量之间的真实依赖图。
• 在潜变量数量小于观测变量数量的高维设置下，建立结构恢复的理论保证。
• 通过合成数据和真实股票市场数据验证该方法，展示其在结构学习中的鲁棒性和准确性。

提出的方法

• 该方法将系统建模为带有潜变量和观测变量的线性随机微分方程，假设潜因子在协方差结构中引入一个低秩分量。
• 将结构学习问题表述为稀疏加低秩矩阵分解，其中观测协方差矩阵被分解为一个稀疏分量（真实依赖关系）和一个低秩分量（潜因素影响）。
• 使用凸优化程序通过带核范数和l1-范数惩罚的正则化最小二乘问题来估计稀疏分量。
• 该算法利用时间序列样本之间的依赖性，并采用针对依赖观测的浓度不等式来界定估计误差。
• 通过控制协方差矩阵中估计误差的无穷范数来确保一致性，这可转化为正确的结构恢复。
• 理论分析利用稳定性条件和谱界推导出估计依赖图的高概率误差界。

实验结果

研究问题

• RQ1 当存在未被观测的潜变量时，我们能否准确恢复观测时间序列变量之间的真实依赖结构？
• RQ2 潜因子的存在如何扭曲观测协方差结构，并在标准学习方法中导致虚假依赖？
• RQ3 在存在潜因子的情况下，实现一致结构恢复所需的最小样本量和采样频率是多少？
• RQ4 在何种条件下，基于凸优化的方法能够成功地将稀疏依赖结构与低秩潜分量分离？
• RQ5 在潜变量数量小于观测变量数量的高维设置下，该方法的可扩展性如何？

主要发现

• 当潜变量数量小于观测变量数量时，该方法能够以高概率恢复观测变量之间的真实依赖图。
• 理论分析建立了高维尺度结果：当样本复杂度满足 $ n\eta \geq \frac{3 \times 10^6 (\mathcal{D}_{\max} + 2\mathcal{C}_{\min})}{D^2 (\mathcal{D}_{\max} + \mathcal{C}_{\min})} \log\left(\frac{4((s+2r)p + r^2)}{\delta}\right) $ 时，可实现一致的结构恢复。
• 协方差矩阵中的估计误差在无穷范数下有界，确保稀疏结构可被可靠恢复。
• 该方法优于标准最大似然估计器，后者无法考虑潜混杂因素，导致产生密集的虚假依赖。
• 在合成数据上的数值实验验证了理论误差界，并展示了在不同潜影响水平下准确的结构恢复能力。
• 在真实股票市场数据上的实证验证表明，该方法能够成功识别有意义的依赖结构，同时过滤掉由未观测市场因素引起的虚假相关性。