[论文解读] Learning Graph Laplacian with MCP

Yangjing Zhang, Kim-Chuan Toh+1 more|arXiv (Cornell University)|Oct 22, 2020

Advanced Graph Neural Networks参考文献 67被引用 6

一句话总结

本文提出一种非精确的近似邻近差异凸算法（DCA），结合半光滑牛顿法，用于在极小极大凹惩罚（MCP）约束下求解图拉普拉斯学习问题，实现稀疏性与非负边权重。该方法在处理大规模和真实世界数据时，相较于现有最先进方法展现出更优的效率与可靠性，尤其得益于其对矩阵奇异性的稳健处理及对非凸稀疏性的有效促进。

ABSTRACT

We consider the problem of learning a graph under the Laplacian constraint with a non-convex penalty: minimax concave penalty (MCP). For solving the MCP penalized graphical model, we design an inexact proximal difference-of-convex algorithm (DCA) and prove its convergence to critical points. We note that each subproblem of the proximal DCA enjoys the nice property that the objective function in its dual problem is continuously differentiable with a semismooth gradient. Therefore, we apply an efficient semismooth Newton method to subproblems of the proximal DCA. Numerical experiments on various synthetic and real data sets demonstrate the effectiveness of the non-convex penalty MCP in promoting sparsity. Compared with the existing state-of-the-art method, our method is demonstrated to be more efficient and reliable for learning graph Laplacian with MCP.

研究动机与目标

• 开发一种在非凸MCP惩罚与非负边权重约束下，可靠且高效的图拉普拉斯矩阵学习方法。
• 解决现有方法的局限性，特别是高维或奇异矩阵下的数值不稳定与可扩展性差问题。
• 在保持非正对角线项与零行和结构约束的前提下，促进估计图拉普拉斯矩阵的稀疏性。
• 通过结构清晰的算法框架，确保收敛至非凸优化问题的临界点。
• 在合成数据与真实世界数据集上，展示该方法在计算效率、解质量与鲁棒性方面的优越性。

提出的方法

• 将图拉普拉斯学习建模为带MCP惩罚的非凸优化问题，以促进拉普拉斯矩阵的稀疏性。
• 设计一种非精确近似邻近差异凸算法（DCA）求解非凸问题，确保收敛至临界点。
• 将每个子问题重述为带连续可微目标函数与半光滑梯度的对偶形式，从而可通过半光滑牛顿法高效求解。
• 采用线搜索策略以确保增广拉格朗日函数的充分下降，提升收敛鲁棒性。
• 将半光滑牛顿法集成至DCA框架中，高效求解子问题，充分利用对偶问题的光滑性与结构特性。
• 将该算法应用于合成模块化图与真实世界数据集，包括动物、参议院、温度、淋巴与雌激素数据。

实验结果

研究问题

• RQ1 基于MCP的正则化是否能有效促进图拉普拉斯估计中的稀疏性，同时保持非负边权重？
• RQ2 在高维或病态矩阵数据下，所提出的非精确近似邻近DCA相较于NGL等现有最先进方法，在效率与可靠性方面表现如何？
• RQ3 在对偶子问题中使用半光滑牛顿法是否显著提升了收敛速度与鲁棒性？
• RQ4 该算法是否能可靠处理图拉普拉斯估计中常见的矩阵奇异问题，尤其是在真实世界数据中？
• RQ5 非凸MCP惩罚在恢复真实图结构方面，相较于L1等凸替代方法，优势有多大？

主要发现

• 所提出的非精确近似邻近DCA成功求解了所有随机模块化图上的合成实例，F1得分高且恢复误差低，而NGL方法在 $ n \geq 240 $ 时失败或提前终止。
• 在真实数据上，DCA方法对所有数据集（包括参议院与温度数据）均返回稳定且合理的解，而NGL方法因矩阵奇异问题导致数值错误并失败。
• 对于高维基因数据（淋巴，$ n=587 $；雌激素，$ n=692 $），DCA在合理时间内完成计算，而NGL未能收敛。
• 在大规模问题上，DCA的计算时间显著短于NGL，且计算时间随维度增长保持合理可扩展性。
• DCA的客观值始终低于且更稳定于NGL，表明其优化性能更优。
• 该方法对病态矩阵具有鲁棒性，未受奇异问题干扰，而NGL在类似情况下内部失败。