[论文解读] Learning From Graph Neighborhoods Using LSTMs

Rakshit Agrawal, Luca de Alfaro+1 more|arXiv (Cornell University)|Nov 21, 2016

Advanced Graph Neural Networks参考文献 13被引用 4

一句话总结

本文提出多层级长短期记忆网络（MLSL），通过使用堆叠的LSTM处理节点邻域的分层树结构，直接从图邻域学习预测表征。该方法在多种任务上实现最先进性能——众包评分、比特币支出预测和维基百科编辑回滚预测——无需手工特征工程，在真实数据集上的F1得分最高提升20%。

ABSTRACT

Many prediction problems can be phrased as inferences over local neighborhoods of graphs. The graph represents the interaction between entities, and the neighborhood of each entity contains information that allows the inferences or predictions. We present an approach for applying machine learning directly to such graph neighborhoods, yielding predicitons for graph nodes on the basis of the structure of their local neighborhood and the features of the nodes in it. Our approach allows predictions to be learned directly from examples, bypassing the step of creating and tuning an inference model or summarizing the neighborhoods via a fixed set of hand-crafted features. The approach is based on a multi-level architecture built from Long Short-Term Memory neural nets (LSTMs); the LSTMs learn how to summarize the neighborhood from data. We demonstrate the effectiveness of the proposed technique on a synthetic example and on real-world data related to crowdsourced grading, Bitcoin transactions, and Wikipedia edit reversions.

研究动机与目标

• 解决在不依赖手工特征的前提下，将机器学习应用于可变大小、拓扑复杂的图邻域的挑战。
• 开发一种可扩展的端到端学习框架，从局部图邻域（深度D以内）捕捉结构信息与基于特征的信息。
• 证明当以分层多级架构组织时，LSTM能够有效总结图邻域。
• 在涉及众包评分、比特币交易行为和维基百科编辑回滚的真实世界问题上验证该方法。
• 表明该方法在极少调整架构或特征工程的前提下，可在多样化领域中实现良好泛化。

提出的方法

• 该方法构建图邻域的树状展开，深度达D，以目标节点为根，各层表示与目标节点距离的递增。
• 在每个d < D的层级上，独立的LSTM按顺序处理子节点的特征，聚合信息并为父节点生成摘要向量。
• 每个LSTM层级独立训练，基于数据基础，允许各层级使用定制的学习容量和超参数。
• 最顶层的LSTM生成目标节点的最终预测，整个网络通过时间反向传播进行端到端训练。
• 训练期间支持任意节点顺序，性能对顺序敏感——例如，比特币数据中时间顺序表现最优。
• 该方法利用LSTM的序列建模能力，捕捉可变结构图邻域中的依赖关系，无需展平或固定特征摘要。

实验结果

研究问题

• RQ1 基于LSTM的深度学习架构能否有效学习总结复杂、可变大小的图邻域，以用于节点级预测任务？
• RQ2 在处理图邻域时，分层多级LSTM设计是否优于平面序列LSTM方法？
• RQ3 MLSL在无需领域特定特征工程的前提下，能在多大程度上泛化到多样化的真实世界图问题？
• RQ4 邻域探索深度（D）在不同图任务中的预测性能影响如何？
• RQ5 在图邻域上训练多级LSTM时，哪些训练策略（如节点排序、学习率调度）最为有效？

主要发现

• 在深度3时，MLSL在维基百科编辑回滚预测任务中取得F1得分0.8508，且随着深度增加表现持续提升。
• 在比特币支出预测中，MLSL在深度2时对'已支出'类别的F1得分为0.8450，对'持有'类别的F1得分为0.6361，显著优于基线（F1: 0.2303）。
• 在众包评分任务中，模型在所有深度下均取得高F1得分（0.8468–0.8508），在具有明确标注模式的合成数据上表现出强鲁棒性。
• 模型表明，训练期间边的顺序对比特币数据至关重要，而随机打乱顺序在众包评分任务中表现更优。
• 在比特币数据集中，增加LSTM层数超过深度2后性能未进一步提升，表明在某一深度后收益递减。
• 为不同层级使用不同学习率至关重要，因为梯度在层级间衰减，且顶层LSTM的学习速度高于底层。