[论文解读] Does the 𝓁 1 -norm Learn a Sparse Graph under Laplacian Constrained Graphical Models?

Jiaxi Ying, José Vinícius de Miranda Cardoso+1 more|arXiv (Cornell University)|Jun 26, 2020

Sparse and Compressive Sensing Techniques参考文献 70被引用 4

一句话总结

本文挑战了在拉普拉斯约束高斯图形模型下ℓ₁-范数正则化在学习稀疏图时的有效性，表明增加正则化反而导致图更稠密。为解决此问题，作者提出一种具有线性收敛的投影梯度下降法的非凸加权ℓ₁-正则化估计器，实现了极小极大最优统计误差，并在合成数据和真实世界数据上优于标准方法。

ABSTRACT

We consider the problem of learning a sparse graph under Laplacian constrained Gaussian graphical models. This problem can be formulated as a penalized maximum likelihood estimation of the precision matrix under Laplacian structural constraints. Like in the classical graphical lasso problem, recent works made use of the $\ell_1$-norm regularization with the goal of promoting sparsity in Laplacian structural precision matrix estimation. However, we find that the widely used $\ell_1$-norm is not effective in imposing a sparse solution in this problem. Through empirical evidence, we observe that the number of nonzero graph weights grows with the increase of the regularization parameter. From a theoretical perspective, we prove that a large regularization parameter will surprisingly lead to a fully connected graph. To address this issue, we propose a nonconvex estimation method by solving a sequence of weighted $\ell_1$-norm penalized sub-problems and prove that the statistical error of the proposed estimator matches the minimax lower bound. To solve each sub-problem, we develop a projected gradient descent algorithm that enjoys a linear convergence rate. Numerical experiments involving synthetic and real-world data sets from the recent COVID-19 pandemic and financial stock markets demonstrate the effectiveness of the proposed method. An open source $\mathsf{R}$ package containing the code for all the experiments is available at this https URL.

研究动机与目标

• 研究ℓ₁-范数正则化在拉普拉斯约束图形模型下促进稀疏性的局限性。
• 解决增加ℓ₁正则化反而导致图更稠密的反直觉现象。
• 开发一种非凸优化框架，实现在稀疏图学习中极小极大最优估计误差。
• 设计一种高效算法，实现对非凸子问题的线性收敛。
• 在合成数据和真实世界应用（包括COVID-19和金融股票市场网络）中验证该方法。

提出的方法

• 提出一种使用一系列加权ℓ₁-范数惩罚子问题的非凸优化框架，以促进稀疏性。
• 开发一种投影梯度下降算法，强制实施拉普拉斯结构并确保线性收敛。
• 对精度矩阵施加结构约束，以确保其对应于有效的图拉普拉斯矩阵。
• 在ℓ₁-正则化中使用自适应权重，以更好地逼近真实的稀疏模式。
• 在投影梯度方案下，对每个子问题进行迭代求解，并保证收敛性。
• 采用延续策略，在递减的正则化水平下逐步优化解。

实验结果

研究问题

• RQ1 ℓ₁-正则化是否在拉普拉斯约束图形模型中有效诱导稀疏性？
• RQ2 为何在此约束设置下增加ℓ₁正则化会导致图更稠密？
• RQ3 ℓ₁-正则化的非凸松弛是否能实现更好的稀疏性和统计性能？
• RQ4 所提出的估计器是否具有统计最优性，达到极小极大下界？
• RQ5 能否为所得非凸问题设计一种具有线性收敛性的高效算法？

主要发现

• ℓ₁-范数正则化在拉普拉斯约束模型中无法有效诱导稀疏性，因为增加正则化反而导致更多非零图权重。
• 过大的正则化参数会使估计图变为完全连通，与稀疏性目标相悖。
• 所提出的非凸方法实现了与极小极大下界匹配的统计误差，表明其具有最优估计性能。
• 投影梯度下降算法实现线性收敛，确保优化过程快速且稳定。
• 数值实验表明，该方法在合成数据和真实世界数据集（包括COVID-19和金融股票网络）上均表现出优越性能。
• 提供了开源R包，支持方法的可复现性与更广泛应用。