[论文解读] Graph quilting: graphical model selection from partially observed covariances

Giuseppe Vinci, Gautam Dasarathy+1 more|arXiv (Cornell University)|Dec 11, 2019

Gene expression and cancer classification参考文献 78被引用 6

一句话总结

本文提出图拼接（Graph Quilting）方法，用于从部分观测到的协方差中学习高斯图形模型，其中许多变量对从未被联合测量。通过利用 $β$-强凸优化和 $β$-强光滑优化并结合 $β$-条件化，该方法即使在边缘依赖关系未被观测到的情况下，也能恢复条件依赖关系，在温和条件下实现精度矩阵估计的一致性，并为边恢复提供有限样本保证。

ABSTRACT

Graphical model selection is a seemingly impossible task when many pairs of variables are never jointly observed; this requires inference of conditional dependencies with no observations of corresponding marginal dependencies. This under-explored statistical problem arises in neuroimaging, for example, when different partially overlapping subsets of neurons are recorded in non-simultaneous sessions. We call this statistical challenge the "Graph Quilting" problem. We study this problem in the context of sparse inverse covariance learning, and focus on Gaussian graphical models where we show that missing parts of the covariance matrix yields an unidentifiable precision matrix specifying the graph. Nonetheless, we show that, under mild conditions, it is possible to correctly identify edges connecting the observed pairs of nodes. Additionally, we show that we can recover a minimal superset of edges connecting variables that are never jointly observed. Thus, one can infer conditional relationships even when marginal relationships are unobserved, a surprising result! To accomplish this, we propose an $\ell_1$-regularized partially observed likelihood-based graph estimator and provide performance guarantees in population and in high-dimensional finite-sample settings. We illustrate our approach using synthetic data, as well as for learning functional neural connectivity from calcium imaging data.

研究动机与目标

• 解决在许多变量对从未被联合观测的统计挑战，这种情况在神经影像学和基因组学中很常见。
• 证明即使缺乏未观测对之间边缘依赖关系的实证证据，也能推断出条件依赖关系。
• 开发一种方法，识别连接从未被联合观测的变量对之间的边，恢复真实边的最小超集。
• 为所提出的估计器在总体和高维有限样本设置下的性能提供理论保证。
• 在合成数据和真实钙成像数据上展示该方法在功能神经连接推断中的实用性。

提出的方法

• 提出一种基于 $β$-强凸和 $β$-强光滑优化的框架，用于在部分协方差观测下进行精度矩阵估计。
• 使用 $β$-条件化以确保在高维设置下优化过程的稳定性和收敛性。
• 应用 $β$-强凸性和光滑性推导出估计精度矩阵的有限样本误差界。
• 利用舒尔补恒等式分解精度矩阵并分析子矩阵扰动。
• 引入基于似然的估计器，并结合 $β$-范数正则化以促进稀疏性并处理缺失数据。
• 推导出真实与估计精度矩阵之间 $∞$-范数差的理论界，确保边恢复的一致性。

实验结果

研究问题

• RQ1 当由于非同步测量导致某些变量对之间的边缘依赖关系未被观测时，能否恢复条件依赖关系？
• RQ2 即使存在缺失数据，是否可能识别出连接从未被联合观测的变量对的最小边超集？
• RQ3 在何种条件下，可以从部分观测的协方差矩阵中一致估计出稀疏精度矩阵？
• RQ4 在 $p > n$ 且许多对未被观测的高维设置下，所提出的估计器表现如何？
• RQ5 当观测协方差矩阵不完整时，该方法是否仍能恢复真实图结构？

主要发现

• 在温和条件下，所提出的估计器能一致恢复观测变量对之间的边，即使完整协方差矩阵未被观测。
• 该方法成功识别出未观测变量对的最小边超集，使在缺乏边缘依赖证据的情况下也能推断条件依赖关系。
• 推导出精度矩阵估计误差 $∞$-范数的有限样本误差界，表明在 $β$-条件化下具有收敛性。
• 为总体和高维设置建立了理论保证，确保可靠的图选择。
• 在合成数据和钙成像数据上的实证验证证实，该方法能高精度恢复功能神经连接。
• 基于舒尔补的分解使子矩阵扰动的精确分析成为可能，为理论性能界提供了基础。