[论文解读] Adaptive testing for the graphical lasso

Max G’Sell, Jonathan Taylor+1 more|arXiv (Cornell University)|Jul 17, 2013

Statistical Methods and Inference参考文献 7被引用 16

一句话总结

本文提出了一种图形 lasso 的新型自适应检验程序，该程序基于正则化路径中节点间距的检验统计量，以评估所估计的精度矩阵中新添加边的显著性。该方法表明，在原假设下，该检验统计量渐近服从指数分布，从而在合理样本量下实现有效的推断，且与相关矩阵的顺序统计量存在联系，并可扩展至聚类方法。

ABSTRACT

We consider tests of significance in the setting of the graphical lasso for inverse covariance matrix estimation. We propose a simple test statistic based on a subsequence of the knots in the graphical lasso path. We show that this statistic has an exponential asymptotic null distribution, under the null hypothesis that the model contains the true connected components. Though the null distribution is asymptotic, we show through simulation that it provides a close approximation to the true distribution at reasonable sample sizes. Thus the test provides a simple, tractable test for the significance of new edges as they are introduced into the model. Finally, we show connections between our results and other results for regularized regression, as well as extensions of our results to other correlation matrix based methods like single-linkage clustering.

研究动机与目标

• 为图形 lasso 中边的显著性开发一个正式的假设检验框架，以填补正则化图形模型推断方面的空白。
• 提出一种基于图形 lasso 路径中稀疏模式发生变化的节点序列的简单、可解释的检验统计量。
• 建立检验统计量的渐近指数原假设分布，从而实现 p 值计算与显著性检验。
• 通过模拟证明，即使在中等样本量下，渐近近似也表现良好。
• 将方法论框架扩展至其他基于相关性的方法，如单链聚类。

提出的方法

• 检验统计量由图形 lasso 路径中连续正则化参数（节点）之间的间距构建，这些节点处估计的图结构发生变化。
• 该统计量通过类比 lasso 中的协方差检验而推导得出，经调整后适用于图形 lasso 设置，基于节点处估计的精度矩阵的变化。
• 证明了渐近原假设分布为指数分布，利用了样本相关矩阵顺序统计量的联系。
• 该方法依赖于样本相关矩阵最大条目在原假设（无额外结构）下的集中不等式与极值理论。
• 理论结果通过模拟得到支持，显示在有限样本量下，渐近原假设分布与经验抽样分布之间高度一致。
• 通过证明当基于绝对相关性阈值添加边时，相同的检验统计量和渐近分布适用，建立了向单链聚类的扩展。

实验结果

研究问题

• RQ1 能否构建一个简单、可解释的检验统计量，以评估在正则化路径每个节点处添加到图形 lasso 模型的边的显著性？
• RQ2 所提出的检验统计量是否具有可处理的渐近原假设分布，从而实现在有限样本量下的有效推断？
• RQ3 在原假设下，该检验统计量与样本相关矩阵的极值顺序统计量有何关系？
• RQ4 该理论框架能否扩展至其他基于相关性的模型选择程序，如单链聚类？
• RQ5 在现实的有限样本设置下，该检验的实证性能如何，特别是在控制第一类错误和检验效能方面？

主要发现

• 在原假设（无额外边显著）下，所提出的检验统计量渐近服从指数分布，从而可计算 p 值。
• 渐近原假设分布对有限样本分布提供了良好近似，经多种设置下的广泛模拟验证。
• 该检验统计量与样本相关矩阵的极值顺序统计量密切相关，特别是最大条目。
• 该方法在中等样本量下实现了良好的第一类错误控制，并保持了检测有意义边的检验效能。
• 理论框架可自然扩展至基于绝对相关性的单链聚类，其中推导出类似的检验统计量和渐近分布。
• 结果为图形 lasso 建立了正式的推断框架，填补了稀疏图形模型在可解释性与显著性评估方面的关键空白。