[论文解读] Inference of High-dimensional Autoregressive Generalized Linear Models

Eric C. Hall, Garvesh Raskutti+1 more|arXiv (Cornell University)|May 9, 2016

Statistical Methods and Inference参考文献 55被引用 28

一句话总结

本文提出了一种针对高维自回归广义线性模型（GLAR）的稀疏正则化最大似然估计器，可在泊松和伯努利过程等非高斯设定下实现统计推断。通过结合局部鞅集中不等式与依赖数据的经验过程理论，作者推导出样本复杂度边界，量化了在网络结构约束下的估计器性能。

ABSTRACT

Vector autoregressive models characterize a variety of time series in which linear combinations of current and past observations can be used to accurately predict future observations. For instance, each element of an observation vector could correspond to a different node in a network, and the parameters of an autoregressive model would correspond to the impact of the network structure on the time series evolution. Often these models are used successfully in practice to learn the structure of social, epidemiological, financial, or biological neural networks. However, little is known about statistical guarantees on estimates of such models in non-Gaussian settings. This paper addresses the inference of the autoregressive parameters and associated network structure within a generalized linear model framework that includes Poisson and Bernoulli autoregressive processes. At the heart of this analysis is a sparsity-regularized maximum likelihood estimator. While sparsity-regularization is well-studied in the statistics and machine learning communities, those analysis methods cannot be applied to autoregressive generalized linear models because of the correlations and potential heteroscedasticity inherent in the observations. Sample complexity bounds are derived using a combination of martingale concentration inequalities and modern empirical process techniques for dependent random variables. These bounds, which are supported by several simulation studies, characterize the impact of various network parameters on estimator performance.

研究动机与目标

• 解决在神经元脉冲发放和流行病传播等非高斯、高维设定下，自回归模型缺乏统计保证的问题。
• 为向量广义线性自回归（GLAR）模型的推断建立统一框架，涵盖泊松和伯努利过程。
• 在稀疏性和依赖性约束下，建立高维自回归参数估计的样本复杂度边界。
• 克服现有方法在时间序列中常见依赖性、异方差性观测下失效的局限性。
• 为社交网络、神经科学和流行病学等应用中的网络结构学习提供理论支持，采用非高斯模型。

提出的方法

• 使用稀疏正则化最大似然估计器，估计高维GLAR模型中的自回归参数。
• 应用局部鞅集中不等式，处理时间序列观测中的时序依赖性和异方差性。
• 采用序列Rademacher复杂度对依赖数据的经验过程进行对称化，实现在函数类上的统一控制。
• 结合专为依赖随机变量设计的现代经验过程技术，推导有限样本边界。
• 推导出依赖于网络稀疏性、信号强度和矩条件的理论样本复杂度边界。
• 通过伯努利和泊松自回归模型的模拟研究验证理论发现。

实验结果

研究问题

• RQ1 在高维非高斯时间序列中，可靠估计自回归参数所需的最小样本量是多少？
• RQ2 网络稀疏性和依赖结构如何影响GLAR模型估计器的统计性能？
• RQ3 能否为依赖性、非高斯时间序列中的稀疏正则化估计器建立理论保证？
• RQ4 链接函数的选择（如泊松分布的对数线性链接）在确保模型可行性与估计精度方面起什么作用？
• RQ5 与独立同分布假设相比，基于局部鞅的集中不等式如何改进时间序列模型的有限样本分析？

主要发现

• 作者推导出高维GLAR模型的样本复杂度边界，其规模与自回归结构的稀疏性及网络的最大度数相关。
• 边界表明，只要真实模型足够稀疏，即使变量数量超过观测数量，仍可实现一致估计。
• 分析表明，在较弱的矩条件和依赖性条件下，稀疏正则化最大似然估计器可达到最优收敛速率。
• 理论结果通过模拟研究得到支持，结果表明在伯努利和泊松自回归模型中均能准确恢复网络结构。
• 利用局部鞅集中不等式与序列Rademacher复杂度，实现了对依赖性、非i.i.d.设定下估计误差的非渐近控制。
• 该框架为社交网络、神经元脉冲发放分析和流行病传播建模等应用中的网络结构学习提供了严格的理论基础。