[论文解读] Learning Graphical Models With Hubs

Kean Ming Tan, Palma London+4 more|arXiv (Cornell University)|Feb 28, 2014

Machine Learning and Algorithms参考文献 55被引用 49

一句话总结

本文提出一种使用行-列重叠范数惩罚的凸优化框架，用于学习具有枢纽节点（与众多其他节点密集连接的节点）的高维图形模型，其性能优于假设边稀疏性均匀的标准 $λ_1$-惩罚方法。该方法通过ADMM应用于高斯、协方差和伊辛图形模型，在合成数据和真实数据（包括基因表达和网页数据集）上均表现出更高的准确性。

ABSTRACT

We consider the problem of learning a high-dimensional graphical model in which certain hub nodes are highly-connected to many other nodes. Many authors have studied the use of an l1 penalty in order to learn a sparse graph in high-dimensional setting. However, the l1 penalty implicitly assumes that each edge is equally likely and independent of all other edges. We propose a general framework to accommodate more realistic networks with hub nodes, using a convex formulation that involves a row-column overlap norm penalty. We apply this general framework to three widely-used probabilistic graphical models: the Gaussian graphical model, the covariance graph model, and the binary Ising model. An alternating direction method of multipliers algorithm is used to solve the corresponding convex optimization problems. On synthetic data, we demonstrate that our proposed framework outperforms competitors that do not explicitly model hub nodes. We illustrate our proposal on a webpage data set and a gene expression data set.

研究动机与目标

• 为解决标准 $λ_1$-惩罚图形模型的局限性，后者假设所有边具有相同的可能性且相互独立，导致在具有枢纽节点的网络中表现不佳。
• 开发一种通用的凸优化框架，通过利用行-列重叠范数惩罚显式建模枢纽节点，以促进存在少数高度连接节点的稀疏模式。
• 将该框架扩展至三种广泛应用的图形模型：高斯图形模型、协方差图模型和二值伊辛模型。
• 提出一种基于交替方向乘子法（ADMM）的高效算法解决方案，用于求解所得的凸优化问题。

提出的方法

• 该方法在图形模型估计问题中引入行-列重叠范数惩罚，以鼓励某些节点（枢纽）具有大量连接，而其他节点保持稀疏的结构。
• 针对三种模型——高斯、协方差和伊辛模型——将优化问题表述为带有重叠范数惩罚的凸规划问题，从而实现枢纽节点的检测。
• 使用ADMM算法求解所得的凸优化问题，通过变量分裂和对偶上升将问题分解为可迭代求解的子问题。
• 对于二值伊辛模型，通过Barzilai-Borwein方法求解更新精度矩阵 $Θ$ 的ADMM子问题，该方法是一种具有自适应步长的拟牛顿梯度下降技术。
• 在某些情况下，算法实现中假设了块对角结构以提高计算效率，但展示结果时未采用此假设。
• 该方法具有可扩展性，即使在标准笔记本电脑上处理 $p=300$ 的情况，运行时间也控制在数分钟内，且通过迭代值的相对变化监控收敛性。

实验结果

研究问题

• RQ1 与标准 $λ_1$-惩罚方法相比，是否一种显式建模枢纽节点的凸优化框架能在高维设置下提升图形模型估计性能？
• RQ2 行-列重叠范数惩罚在捕捉真实网络（如基因调控网络和网页）中的枢纽结构方面表现如何？
• RQ3 在高维采样条件下，该方法在不同类型的图形模型（高斯、协方差和伊辛模型）中是否保持或提升估计精度？
• RQ4 ADMM-based算法在收敛速度和大规模 $p$ 的计算可扩展性方面效率如何？
• RQ5 该方法能否检测到超级枢纽结构，例如在基因调控网络中，少数基因调控数百个下游基因的情形？

主要发现

• 在合成数据上，所提出的枢纽正则化方法在真阳性率和ROC曲线下面积方面显著优于标准 $λ_1$-惩罚对比方法，尤其在存在枢纽节点时表现更优。
• 该方法在网页数据集中成功识别出枢纽节点，将已知高度连接的网页恢复为推断网络中的中心节点。
• 在基因表达数据集中，该方法检测到已知的超级枢纽基因（例如调控数百个下游基因的基因），证实了其生物学合理性。
• ADMM算法收敛高效，即使在不采用块对角假设的情况下，$p=300$ 的情况运行时间也控制在数分钟内，展现出良好的可扩展性。
• 在伊辛模型子问题中，使用Barzilai-Borwein方法更新 $Θ$ 时表现出稳定的收敛性，当迭代值的相对变化低于阈值时，算法即终止。