[论文解读] Learning Scale-Free Networks by Dynamic Node-Specific Degree Prior

Qingming Tang, Siqi Sun+1 more|arXiv (Cornell University)|Mar 7, 2015

Face and Expression Recognition参考文献 19被引用 13

一句话总结

本文提出一种动态节点特定度先验，通过将节点度估计与边权重排序整合进高斯图形模型（GGM）框架，以学习无标度网络。采用一种新颖的ADMM优化方法，该方法在边预测准确率方面显著优于现有方法——包括$l_1$-惩罚GGM、枢纽诱导先验和重加权$l_1$方法，尤其在真实基因表达数据上表现突出，同时保持了幂律度分布特性。

ABSTRACT

Learning the network structure underlying data is an important problem in machine learning. This paper introduces a novel prior to study the inference of scale-free networks, which are widely used to model social and biological networks. The prior not only favors a desirable global node degree distribution, but also takes into consideration the relative strength of all the possible edges adjacent to the same node and the estimated degree of each individual node. To fulfill this, ranking is incorporated into the prior, which makes the problem challenging to solve. We employ an ADMM (alternating direction method of multipliers) framework to solve the Gaussian Graphical model regularized by this prior. Our experiments on both synthetic and real data show that our prior not only yields a scale-free network, but also produces many more correctly predicted edges than the others such as the scale-free inducing prior, the hub-inducing prior and the $l_1$ norm.

研究动机与目标

• 解决标准$l_1$-惩罚高斯图形模型的局限性，后者假设边的出现概率均匀，无法捕捉无标度网络结构。
• 开发一种度先验，既能促进全局幂律度分布，又能结合个体节点的度估计与相对边权重强度意识。
• 通过基于排序的边权重估计方法，动态建模节点度，以更准确反映现实网络中枢纽节点的行为。
• 通过一种新颖的ADMM算法求解由动态度估计和排序约束引发的非凸、复杂优化问题。
• 在合成无标度网络和真实世界生物网络（特别是DREAM5挑战数据集）上验证该方法。

提出的方法

• 提出一种节点特定度先验，结合估计的节点度与相对边权重排序，以指导网络结构学习。
• 通过绝对边权重$|X_{i,(u)}|$的排列，基于排序实现节点度的动态估计，以反映相对连通强度。
• 引入一种新型目标函数，结合负对数似然与依赖于排序边幅值的节点特定度先验。
• 采用定制的ADMM算法求解由动态度估计和排序约束引发的非凸优化问题。
• 在高斯图形模型框架内应用该方法，其中图结构由精度矩阵$X$的零模式编码。
• 使用Lovász扩展近似子模度函数，实现对全局度分布约束的凸松弛。

实验结果

研究问题

• RQ1 动态节点特定度先验是否能超越静态或全局先验，在无标度网络推断中实现更优性能？
• RQ2 在每个节点上引入相对边权重排序，是否能提升网络结构恢复的准确性？
• RQ3 能否通过一种新颖的ADMM框架有效求解具有动态排序的非凸优化问题？
• RQ4 在真实生物网络中，该方法是否在预测真实边方面优于标准$l_1$-惩罚GGM和枢纽诱导先验？
• RQ5 在合成和现实世界场景中，估计的网络在多大程度上保持了幂律度分布？

主要发现

• 在DREAM5数据集3（4511个基因，3902条真实边）上，所提出的DNS方法在边预测准确率上显著优于Gesso、RW及其他基线方法，尤其在高边数条件下表现更优。
• 当限制生成4000条边时，DNS估计网络的度分布与真实无标度幂律模式高度吻合，而Gesso未能保持该分布特性。
• 在DREAM5数据集4（5950个基因，3940条真实边）上，当预测约19,000条边时，DNS预测的正确边数约为Gesso的两倍（18 vs. 9），尽管整体性能在各方法中均不理想。
• 在枢纽网络模拟中，DNS在正确预测边数方面优于所有基线方法，即使网络并非严格无标度，表明其对非理想度分布具有鲁棒性。
• 对数对数度分布图显示，DNS与RW生成的网络表现出幂律行为，而Gesso则未体现，验证了该方法在诱导无标度结构方面的有效性。
• 基于排序的动态度先验使枢纽节点的表征更加准确，如1643个节点网络的可视化结果所示，高阶节点被正确识别为枢纽。