[论文解读] GeniePath: Graph Neural Networks with Adaptive Receptive Paths

Ziqi Liu, Chaochao Chen+5 more|arXiv (Cornell University)|Feb 3, 2018

Advanced Graph Neural Networks参考文献 21被引用 47

一句话总结

GeniePath 通过在图中联合建模自适应广度（哪些邻居重要）和自适应深度（传播到多远），在传导（transductive）和归纳（inductive）设置下在大规模图上实现了最先进的结果。

ABSTRACT

We present, GeniePath, a scalable approach for learning adaptive receptive fields of neural networks defined on permutation invariant graph data. In GeniePath, we propose an adaptive path layer consists of two complementary functions designed for breadth and depth exploration respectively, where the former learns the importance of different sized neighborhoods, while the latter extracts and filters signals aggregated from neighbors of different hops away. Our method works in both transductive and inductive settings, and extensive experiments compared with competitive methods show that our approaches yield state-of-the-art results on large graphs.

研究动机与目标

• 动机：通过学习自适应、数据驱动的接收路径来改进图神经网络，而不是固定的邻域。
• 目标：设计置换不变的自适应路径层，能够高效地探索邻域的广度和深度。
• 目标：在大规模图上在传导和归纳两种设置中实现最先进的性能。

提出的方法

• 提出具有两部分的自适应路径层：自适应广度函数用于为一跳邻居分配重要性，自适应深度函数用于跨越多跳提取/过滤信号。
• 定义满足不变量邻域操作的聚合形式 f({h_j}) = ρ(Σ_j φ(h_j))，以实现置换不变的聚合。
• 通过广义线性注意力实现自适应广度 α(x,y) = softmax_y(v^T tanh(W_s^T x + W_d^T y))。
• 将自适应深度实现为一个门控记忆机制（类 LSTM），在传播步骤中更新每个节点的记忆 C_i，使用门控 i、f、o，以及候选 illde C 来控制信号流。
• 提供 GeniePath 与 GeniePath-lazy 变体：GeniePath 逐步评估深度；GeniePath-lazy 延迟深度评估，在应用深度过滤之前在 T 跳内使用广度线索。
• 通过使用辅助稀疏矩阵 L 和 R 将边上的注意力形式化，以保持复杂度与边数线性相关，从而确保计算效率。

实验结果

研究问题

• RQ1 自适应广度和深度函数是否能够在超越固定邻域方案的情况下学习出有意义的感受野路径？
• RQ2 相较于现有的 GNN，自适应接收路径是否在传导和归纳的图学习任务上提升性能？
• RQ3 GeniePath 如何在深层传播中避免过平滑或性能下降？
• RQ4 学习到的接收路径与传统基于图拉普拉斯的邻居重要性之间在定性上有什么不同？

主要发现

• GeniePath 在若干大型图基准测试中在传导和归纳设置下都实现了具竞争力或最先进的结果。
• 在 Pubmed、BlogCatalog（两个变体）和 Alipay（传导）上，GeniePath ∗ 与 GCN、GraphSAGE 和 GAT 等强基线相匹配或超越。
• 在归纳的 PPI 设置中，GeniePath ∗ 获得 Micro-F1 0.979，超过 GraphSAGE 和 GCN 基线。
• GeniePath-lazy 变体进一步提升性能，在带残差变体的 PPI 上实现最高 0.985 Micro-F1。
• GeniePath 对深层堆叠的敏感性较低，随着深度增加仍表现稳健，与若干基线不同。
• 定性分析表明 GeniePath 学习到稀疏、意义明确的感受野路径（具有更高估计重要性的边），与基于图拉普拉斯的密集模式形成对比。