[论文解读] Deep Graph Neural Networks with Shallow Subgraph Samplers

Hanqing Zeng, Muhan Zhang+7 more|arXiv (Cornell University)|Dec 2, 2020

Advanced Graph Neural Networks参考文献 49被引用 13

一句话总结

本文提出了一种“深度GNN，浅层采样器”框架，通过仅在局部采样子图上应用深度GNN，提升了图表示学习效果，缓解了过度平滑和邻域爆炸问题。在ogbn-papers100M数据集上，该方法以10倍更低的硬件成本实现了最先进性能。

ABSTRACT

While Graph Neural Networks (GNNs) are powerful models for learning representations on graphs, most state-of-the-art models do not have significant accuracy gain beyond two to three layers. Deep GNNs fundamentally need to address: 1). expressivity challenge due to oversmoothing, and 2). computation challenge due to neighborhood explosion. We propose a simple "deep GNN, shallow sampler" design principle to improve both the GNN accuracy and efficiency -- to generate representation of a target node, we use a deep GNN to pass messages only within a shallow, localized subgraph. A properly sampled subgraph may exclude irrelevant or even noisy nodes, and still preserve the critical neighbor features and graph structures. The deep GNN then smooths the informative local signals to enhance feature learning, rather than oversmoothing the global graph signals into just "white noise". We theoretically justify why the combination of deep GNNs with shallow samplers yields the best learning performance. We then propose various sampling algorithms and neural architecture extensions to achieve good empirical results. On the largest public graph dataset, ogbn-papers100M, we achieve state-of-the-art accuracy with an order of magnitude reduction in hardware cost.

研究动机与目标

• 解决深度GNN在图表示学习中因表达能力与计算开销限制而面临的挑战。
• 通过将消息传递限制在局部、信息丰富的子图上，克服深度GNN中的过度平滑问题。
• 通过子图采样避免邻域爆炸，从而降低计算成本。
• 通过在采样子图中保留关键图结构与邻居特征，提升模型性能。
• 为深度GNN与浅层采样结合的有效性建立理论基础。

提出的方法

• 该方法使用深度GNN仅在每个目标节点周围的浅层、局部采样子图内传播消息。
• 子图采样排除了无关或噪声节点，同时保留了在结构和特征上重要的邻居。
• 该框架利用“浅层采样器”生成紧凑子图，以保持局部图结构与特征完整性。
• 提出了多种采样算法，以确保子图具有信息量且多样化，支持鲁棒的表示学习。
• 引入神经架构扩展，实现采样与GNN组件的端到端联合优化，以获得最佳性能。
• 理论分析表明，该设计通过聚焦于局部信号增强，避免了全局过度平滑。

实验结果

研究问题

• RQ1 如何在不遭受大规模图中过度平滑问题的前提下，使深度GNN更有效？
• RQ2 何种采样策略可使深度GNN在降低计算成本的同时保持高准确率？
• RQ3 为何将消息传递限制在浅层子图中，相比全图GNN，能提升表示学习效果？
• RQ4 简单的“深度GNN，浅层采样器”设计是否能在大规模图上超越现有深度GNN架构？
• RQ5 何种理论保证支持将深度GNN与局部采样相结合的有效性？

主要发现

• 所提方法在ogbn-papers100M数据集上实现了最先进准确率，该数据集为目前最大的公开图基准。
• 与现有深度GNN相比，该方法将硬件成本降低了整整一个数量级，使大规模图的高效训练成为可能。
• 通过聚焦于局部、信息丰富的子图而非全局图信号，该模型有效缓解了过度平滑问题。
• 理论分析证实，深度GNN与浅层采样的结合可避免因全局消息传递导致的性能退化。
• 实证结果表明，子图采样有效保留了对准确节点表示至关重要的结构与特征信息。
• 该框架展现出强大的可扩展性与效率，使深度GNN在真实世界大规模图学习中具备可行性。