[论文解读] Feature Propagation on Graph: A New Perspective to Graph Representation Learning

Biao Xiang, Ziqi Liu+2 more|arXiv (Cornell University)|Apr 17, 2018

Advanced Graph Neural Networks参考文献 10被引用 6

一句话总结

本文提出了一种图上特征传播的正式框架，利用M-矩阵理论证明了收敛条件，确保数值稳定性。该框架将node2vec和structure2vec统一其中，并提出了一种新颖的边级别表征学习方法edge2vec，在存在节点间多条边的真实交易图中，欺诈检测任务上表现出色。

ABSTRACT

We study feature propagation on graph, an inference process involved in graph representation learning tasks. It's to spread the features over the whole graph to the $t$-th orders, thus to expand the end's features. The process has been successfully adopted in graph embedding or graph neural networks, however few works studied the convergence of feature propagation. Without convergence guarantees, it may lead to unexpected numerical overflows and task failures. In this paper, we first define the concept of feature propagation on graph formally, and then study its convergence conditions to equilibrium states. We further link feature propagation to several established approaches such as node2vec and structure2vec. In the end of this paper, we extend existing approaches from represent nodes to edges (edge2vec) and demonstrate its applications on fraud transaction detection in real world scenario. Experiments show that it is quite competitive.

研究动机与目标

• 将图表示学习中的特征传播形式化为一个核心机制。
• 识别并建立特征传播收敛至平衡状态的条件，确保数值稳定性。
• 将现有的图表示学习方法（如node2vec和structure2vec）统一到所提出的特征传播框架下。
• 将节点级别的表征学习扩展至边级别学习（edge2vec），以建模现实世界图中复杂的多边关系。
• 在欺诈交易检测任务上评估edge2vec，证明其在节点间存在多条边的场景下具有有效性。

提出的方法

• 提出一种通用的特征传播框架，由迭代更新定义：$ H^{(t+1)} = \phi(A) H^{(t)} W $，其中 $ \phi(A) $ 是邻接矩阵上的消息传递算子。
• 利用M-矩阵理论建立收敛条件，确保当 $ T \to \infty $ 时，传播过程可达到稳定平衡。
• 通过证明其底层机制与 $ \phi(A) $ 的特定形式一致，将node2vec和structure2vec与特征传播框架关联起来。
• 通过将特征传播扩展至边，提出edge2vec，使用一个可学习的传播矩阵 $ \widetilde{X^{(e)}} $，聚合源节点和目标节点的特征。
• 在边级别预测任务上，采用线性分类器 $ f(x; \theta) = \theta^T x $，结合交叉熵损失和L2正则化进行模型训练。
• 使用梯度投影实现收敛条件，使稳定特征传播可实际部署。

实验结果

研究问题

• RQ1 图上的特征传播在何种条件下收敛至稳定平衡？
• RQ2 现有图表示学习方法（如node2vec和structure2vec）如何通过特征传播的视角进行解释？
• RQ3 特征传播能否从节点扩展到边，以建模复杂的多关系图结构？
• RQ4 与仅使用节点特征或未传播的边特征相比，edge2vec是否在欺诈检测任务中表现更优？
• RQ5 现有方法（如structure2vec）中存在哪些数值稳定性风险，如何加以缓解？

主要发现

• 若传播矩阵满足M-矩阵条件，特征传播将收敛至平衡状态，提供防止数值溢出的理论保障。
• 当正则化参数 $ \lambda < 10^{-5} $ 时，structure2vec方法在高阶传播（3阶及以上）中表现出数值不稳定性，导致溢出。
• edge2vec在欺诈检测任务中优于基线方法（无传播和节点特征简单拼接），表现为更优的PR曲线。
• 与拼接基线相比，edge2vec的性能提升虽不大但稳定，证实了在边级别表征上进行结构化特征传播的价值。
• 该方法成功处理了节点对之间存在多条边的情况，而传统节点嵌入模型（如node2vec）无法支持此类设置。
• 本研究识别出现有方法的关键缺陷：缺乏收敛性分析，可能导致训练不稳定和预测不可靠。