[论文解读] Curvature Regularization to Prevent Distortion in Graph Embedding

Hongbin Pei, Bingzhe Wei+3 more|arXiv (Cornell University)|Nov 28, 2020

Advanced Graph Neural Networks参考文献 34被引用 5

一句话总结

本文提出曲率正则化以通过在嵌入流形中强制保持平坦性来防止图嵌入中的拓扑失真。通过一种新颖的角度-based截面曲率（ABS曲率），将三种正则化形式整合到五种流行的保邻近性方法中，在多个图数据集上显著提升了性能。

ABSTRACT

Recent research on graph embedding has achieved success in various applications. Most graph embedding methods preserve the proximity in a graph into a manifold in an embedding space. We argue an important but neglected problem about this proximity-preserving strategy: Graph topology patterns, while preserved well into an embedding manifold by preserving proximity, may distort in the ambient embedding Euclidean space, and hence to detect them becomes difficult for machine learning models. To address the problem, we propose curvature regularization, to enforce flatness for embedding manifolds, thereby preventing the distortion. We present a novel angle-based sectional curvature, termed ABS curvature, and accordingly three kinds of curvature regularization to induce flat embedding manifolds during graph embedding. We integrate curvature regularization into five popular proximity-preserving embedding methods, and empirical results in two applications show significant improvements on a wide range of open graph datasets.

研究动机与目标

• 解决保邻近性策略导致的图嵌入中被忽视的拓扑失真问题。
• 通过在嵌入流形中保持平坦性，提高图拓扑模式的可检测性。
• 开发一种新颖的曲率度量——ABS曲率，利用嵌入空间中向量之间的夹角来捕捉截面曲率。
• 将曲率正则化整合到现有的保邻近性图嵌入方法中，以提升鲁棒性。
• 通过实证验证曲率正则化在多样化图数据集和应用中的有效性。

提出的方法

• 提出一种基于嵌入空间中切向量之间夹角的新角度-based截面曲率度量——ABS曲率。
• 设计三种不同的曲率正则化项，以在训练过程中惩罚嵌入流形的非平坦性。
• 将曲率正则化整合到五种成熟的保邻近性图嵌入方法（如node2vec、LINE等）中。
• 优化组合损失函数，平衡邻近性保持与曲率正则化。
• 使用几何约束确保嵌入流形尽可能平坦，从而最小化图拓扑的失真。
• 采用ABS曲率的可微分公式，以支持与深度学习框架的端到端训练。

实验结果

研究问题

• RQ1 曲率正则化在多大程度上减少了学习到的图嵌入中的拓扑失真？
• RQ2 所提出的ABS曲率度量与现有曲率近似方法相比，在捕捉嵌入流形平坦性方面表现如何？
• RQ3 曲率正则化是否能提升多样化图数据集上下游机器学习任务的性能？
• RQ4 当应用于不同保邻近性嵌入方法时，曲率正则化方法的鲁棒性如何？
• RQ5 在嵌入流形中强制保持平坦性是否能增强对图内在拓扑模式的可检测性？

主要发现

• 曲率正则化在多个开放图数据集上的下游任务中显著提升了性能。
• ABS曲率正则化的整合使得嵌入流形更加平坦，从而减少了图拓扑的失真。
• 该方法在五种流行的保邻近性图嵌入模型上均实现了稳定提升。
• 实证结果表明下游任务中取得了可测量的性能增益，表明嵌入空间中结构模式得到了更好的保持。
• 基于角度的截面曲率使有效且可微分的正则化成为可能，而无需显式参数化流形。
• 该方法在多样化图结构和应用场景中表现出强大的泛化能力。