[论文解读] A Convex Formulation for Learning Scale-Free Networks via Submodular Relaxation

Aaron Defazio, Tibério S. Caetano|arXiv (Cornell University)|Jul 10, 2014

Statistical Methods and Inference参考文献 19被引用 23

一句话总结

本文提出了一种凸优化框架，通过利用次模函数对度分布进行建模，借助洛瓦兹扩展实现凸松弛，以学习无标度网络。与先前的非凸方法相比，该方法在合成数据和真实生物数据上重建无标度结构时实现了更高的准确性。

ABSTRACT

A key problem in statistics and machine learning is the determination of network structure from data. We consider the case where the structure of the graph to be reconstructed is known to be scale-free. We show that in such cases it is natural to formulate structured sparsity inducing priors using submodular functions, and we use their Lovász extension to obtain a convex relaxation. For tractable classes such as Gaussian graphical models, this leads to a convex optimization problem that can be efficiently solved. We show that our method results in an improvement in the accuracy of reconstructed networks for synthetic data. We also show how our prior encourages scale-free reconstructions on a bioinfomatics dataset.

研究动机与目标

• 为解决从数据中学习无标度网络结构的挑战，特别是在稀疏性和已知拓扑特性（例如幂律度分布）至关重要的情况下。
• 开发一种结构化稀疏先验，显式地在图模型中鼓励无标度拓扑，特别是在高斯图模型中。
• 为非凸次模先验提供凸松弛，以实现可处理的优化，从而实现高效且稳定的推理。
• 证明所提出的方法在合成和真实世界数据集上重建无标度网络时优于现有非凸方法。

提出的方法

• 利用源自度分布的次模函数对网络结构建立先验，确保对无标度特性的自然建模。
• 应用洛瓦兹扩展将非凸次模先验松弛为凸近似，以实现高效优化。
• 使用邻近方法，特别是对偶分解，求解包含不可微、次模正则化项的凸优化问题。
• 采用最大后验（MAP）估计与凸先验结合，从数据中学习稀疏且无标度的图模型。
• 将该方法整合到稀疏协方差选择框架中，适用于高维数据（如基因表达网络）。
• 调节正则化强度，并使用邻近算子以在学习图的稀疏性与无标度结构之间取得平衡。

实验结果

研究问题

• RQ1 次模函数能否以一种支持凸优化用于结构学习的方式，对无标度网络的度分布进行建模？
• RQ2 与非凸公式相比，通过洛瓦兹扩展实现的凸松弛在无标度网络恢复中的准确性与收敛性表现如何？
• RQ3 与标准的L1-正则化协方差选择相比，该方法在合成无标度网络上的重构准确性是否有所提升？
• RQ4 该方法能否有效恢复真实生物网络（如基因共表达网络）中的无标度拓扑？
• RQ5 求解包含次模正则化的凸、不可微问题时，哪种优化技术最为高效？

主要发现

• 所提出的凸公式化方法在合成数据上重建无标度网络的准确性高于先前的非凸方法。
• 在GDS1429基因表达数据集上，该方法生成的网络展现出更清晰的枢纽结构（例如基因60），更符合无标度拓扑特征，而L1方法则未呈现此特征。
• 用于计算邻近算子的对偶分解方法相比次梯度下降或最小范数点（MNP）算法，收敛速度显著更快。
• 在100个节点的BA模型上，该次模松弛方法每轮耗时5.0秒，而重加权L1方法耗时16秒，表明在相近精度下具有更高的效率。
• 标准L1方法耗时更短（0.72秒），但重构结果准确性较低，凸显了速度与拓扑保真度之间的权衡。
• 该方法在真实生物数据中成功诱导出无标度度分布，通过主要连通分量的可视化检查可得到验证。