[论文解读] Deep Loopy Neural Network Model for Graph Structured Data Representation Learning

Jiawei Zhang|arXiv (Cornell University)|May 19, 2018

Advanced Graph Neural Networks参考文献 30被引用 5

一句话总结

本文提出一种用于图结构数据表示学习的深度环状神经网络（LNN），通过在提取的k跳根系生成树上反向传播误差，解决了环状结构带来的训练挑战。该方法在多个真实世界图数据集上实现了最先进性能，在MSE、MAE和LRS指标上均优于DeepWalk、LINE和HPE等基线模型。

ABSTRACT

Existing deep learning models may encounter great challenges in handling graph structured data. In this paper, we introduce a new deep learning model for graph data specifically, namely the deep loopy neural network. Significantly different from the previous deep models, inside the deep loopy neural network, there exist a large number of loops created by the extensive connections among nodes in the input graph data, which makes model learning an infeasible task. To resolve such a problem, in this paper, we will introduce a new learning algorithm for the deep loopy neural network specifically. Instead of learning the model variables based on the original model, in the proposed learning algorithm, errors will be back-propagated through the edges in a group of extracted spanning trees. Extensive numerical experiments have been done on several real-world graph datasets, and the experimental results demonstrate the effectiveness of both the proposed model and the learning algorithm in handling graph data.

研究动机与目标

• 解决在图结构数据中训练含环的深度神经网络所面临的根本性挑战。
• 开发一种学习算法，实现在传统反向传播因循环依赖而失效的深度环状神经网络中有效误差反向传播。
• 设计一种模型，在保留输入图结构复杂性的同时支持端到端训练。
• 在多样化的现实世界图数据集上实证验证所提出模型与学习算法的有效性。

提出的方法

• 基于输入图构建深度环状神经网络（LNN），将神经元映射到节点，连接关系由边定义，形成层内与层间连接。
• 模型采用分层架构，包含输入层、隐藏层和输出层，隐藏状态通过非线性激活函数对输入与邻近节点状态的加权和进行计算。
• 为解决环状结构下的训练问题，该方法从图中提取k跳子图与k跳根系生成树，以实现通过无环路径的误差反向传播。
• 通过生成树的边进行反向传播，解耦了阻碍标准反向传播的循环依赖关系。
• 损失函数定义为节点损失（如MSE或交叉熵）之和，通过基于生成树的误差传播路径使用梯度下降进行最小化。
• 在学习表示之上使用多层感知机（MLP）作为分类器以进行评估。

实验结果

研究问题

• RQ1 当环导致变量依赖关系难以处理时，能否通过误差反向传播有效训练含环的深度神经网络？
• RQ2 从图神经网络架构中提取的生成树能否在环状结构存在的情况下实现稳定且有效的反向传播？
• RQ3 所提出的深度环状神经网络在真实世界数据集上与最先进图表示学习方法相比表现如何？
• RQ4 所提出的算法在解决环状结构导致的训练不稳定性的同时，是否能保持或提升模型性能？

主要发现

• 在Foursquare数据集上，LNN在MSE（0.002 ± 0.001）和MAE（0.003 ± 0.001）两项指标上均取得最低值，排名第一。
• 在Twitter数据集上，LNN在MSE = 0.001 ± 0.001、MAE = 0.002 ± 0.001和LRS = 0.276 ± 0.0013三项指标上均表现最佳，排名第一。
• 在Douban与IMDB数据集上，LNN在所有评估指标上的平均排名最低（1.0），表明其表现具有一致优势。
• 在Foursquare数据集上，LNN的MSE比第二好的方法（MF）低7.8%，比App低30%，显示出显著提升。
• 尽管在Foursquare数据集的MSE上略逊于HPE与BPR，LNN在MAE与LRS上仍排名第一，表明其在多指标下具有鲁棒性。
• 所提出的算法成功实现了深度环状网络的训练，克服了循环架构中标准反向传播不可行的问题。