[论文解读] Joint Inference of Multiple Graphs from Matrix Polynomials

Madeline Navarro, Yuhao Wang+3 more|arXiv (Cornell University)|Oct 16, 2020

Functional Brain Connectivity Studies参考文献 51被引用 23

一句话总结

该论文提出了一种凸优化框架，用于从假设在这些图上平稳的图信号中联合推断多个稀疏图，利用信号协方差与图移位算子之间的矩阵多项式关系。该方法在信号数量和网络规模下具有有利的高概率界，确保了稳定恢复，通过合成和真实世界实验展示了在噪声环境下的鲁棒性。

ABSTRACT

Inferring graph structure from observations on the nodes is an important and popular network science task. Departing from the more common inference of a single graph and motivated by social and biological networks, we study the problem of jointly inferring multiple graphs from the observation of signals at their nodes (graph signals), which are assumed to be stationary in the sought graphs. From a mathematical point of view, graph stationarity implies that the mapping between the covariance of the signals and the sparse matrix representing the underlying graph is given by a matrix polynomial. A prominent example is that of Markov random fields, where the inverse of the covariance yields the sparse matrix of interest. From a modeling perspective, stationary graph signals can be used to model linear network processes evolving on a set of (not necessarily known) networks. Leveraging that matrix polynomials commute, a convex optimization method along with sufficient conditions that guarantee the recovery of the true graphs are provided when perfect covariance information is available. Particularly important from an empirical viewpoint, we provide high-probability bounds on the recovery error as a function of the number of signals observed and other key problem parameters. Numerical experiments using synthetic and real-world data demonstrate the effectiveness of the proposed method with perfect covariance information as well as its robustness in the noisy regime.

研究动机与目标

• 为解决在仅部分信号可获取的情况下，从节点观测中推断多个相关图的挑战，该挑战源于社交、生物和通信系统中的多层网络。
• 开发一种联合推断框架，利用多个图之间的共享结构特性，以超越单图方法的估计精度。
• 通过图平稳性形式化问题，其中信号协方差与图移位算子通过矩阵多项式关联，从而实现统一的数学表述。
• 在噪声和有限样本条件下，提供恢复误差的理论保证，特别是依赖于信号数量和网络参数的高概率界。
• 通过引入相似性约束和结构先验（如邻接矩阵或拉普拉斯形式），将现有图信号处理工具扩展至多图设置。

提出的方法

• 将联合图推断问题表述为一个凸优化任务，通过最小化正则化损失函数来强制实现稀疏性、图平稳性和图间相似性。
• 使用矩阵多项式映射将观测图信号的协方差与未知图移位算子（GSO）关联，确保GSO与协方差共享相同的特征向量。
• 对GSO施加结构约束（如无自环的邻接矩阵或拉普拉斯形式），以与特定领域的网络模型保持一致。
• 采用非凸联合稀疏性和相似性约束的凸松弛，实现可处理的优化并提供理论恢复保证。
• 通过子高斯随机向量的浓度不等式和尾部界，推导出在信号分布和网络规模假设下的恢复误差的高概率界。
• 应用截断方案处理重尾噪声，通过有界估计信号和的谱范数，确保在噪声环境下的稳定性。

实验结果

研究问题

• RQ1 从平稳图信号中联合推断多个图是否能实现优于单图推断的恢复性能？
• RQ2 基于矩阵多项式的凸优化框架在何种条件下能保证对多个稀疏图的一致恢复？
• RQ3 观测信号数量如何影响图拓扑恢复中的高概率误差界？
• RQ4 图间相似性和结构先验（如邻接或拉普拉斯约束）对估计精度有何影响？
• RQ5 所提出方法在真实世界和合成数据中对噪声和有限样本效应的鲁棒性如何？

主要发现

• 所提方法实现了高概率下的真实图恢复，误差界随观测信号数量呈指数衰减，具体由 $ \exp(-c \log N) $ 有界，其中 $ c > 2 $。
• 理论分析表明，在信号分布和网络规模的温和条件下，随着信号数量增加，恢复误差收敛于零，即使在存在噪声的情况下亦然。
• 由于采用基于截断的信号估计器控制尾部行为和谱范数，该方法在噪声条件下保持了鲁棒性。
• 在合成和真实世界数据上的实证结果证实，联合推断在准确性和稳定性方面均优于单图方法，尤其在信号有限时表现更优。
• 恢复误差的高概率界明确依赖于关键参数，如信号数量 $ n $、网络规模 $ N $ 和稀疏度水平 $ K $，且误差随 $ n $ 增加而减小。
• 即使每张图仅获得部分观测，该方法仍能通过利用多个网络间的共享结构模式实现一致恢复。