[论文解读] Graph U-Nets

Hongyang Gao, Shuiwang Ji|arXiv (Cornell University)|May 11, 2019

Advanced Graph Neural Networks参考文献 46被引用 213

一句话总结

本文提出了 Graph U-Nets，一种用于图表示学习的新型编码器-解码器架构，通过可学习的图池化（gPool）和反池化（gUnpool）操作，实现在图上的 U-Net 式特征学习。通过自适应选择关键节点进行下采样，并在上采样过程中重建这些节点，Graph U-Nets 在节点分类和图分类基准任务上取得了最先进性能。

ABSTRACT

We consider the problem of representation learning for graph data. Convolutional neural networks can naturally operate on images, but have significant challenges in dealing with graph data. Given images are special cases of graphs with nodes lie on 2D lattices, graph embedding tasks have a natural correspondence with image pixel-wise prediction tasks such as segmentation. While encoder-decoder architectures like U-Nets have been successfully applied on many image pixel-wise prediction tasks, similar methods are lacking for graph data. This is due to the fact that pooling and up-sampling operations are not natural on graph data. To address these challenges, we propose novel graph pooling (gPool) and unpooling (gUnpool) operations in this work. The gPool layer adaptively selects some nodes to form a smaller graph based on their scalar projection values on a trainable projection vector. We further propose the gUnpool layer as the inverse operation of the gPool layer. The gUnpool layer restores the graph into its original structure using the position information of nodes selected in the corresponding gPool layer. Based on our proposed gPool and gUnpool layers, we develop an encoder-decoder model on graph, known as the graph U-Nets. Our experimental results on node classification and graph classification tasks demonstrate that our methods achieve consistently better performance than previous models.

研究动机与目标

• 为解决图数据缺乏类似计算机视觉中 U-Net 的有效编码器-解码器架构的问题。
• 克服在非网格图结构上自然应用池化与上采样操作的挑战。
• 开发可微分、可学习的操作，以在图下采样与重构过程中保留结构与特征信息。
• 实现图神经网络在图上像素级与节点级预测任务中的端到端训练。
• 通过结构化的分层特征学习，提升图级别与节点级别分类任务的性能。

提出的方法

• 提出 gPool，一种可微分的图池化层，基于节点在其可学习投影向量上的标量投影，选择节点子集。
• 采用可微分的反池化操作 gUnpool，利用对应 gPool 操作中选定节点的位置信息恢复图结构。
• 设计一种编码器-解码器架构，其中 gPool 层用于下采样图，gUnpool 层用于上采样图，从而实现类似图像分割中 U-Net 的跳跃连接。
• 在 gPool 中使用可学习投影向量，以动态识别压缩过程中保留结构信息的关键节点。
• 将 gPool 与 gUnpool 集成到类似 U-Net 的架构中，以捕捉多尺度图上的分层表征。
• 通过反向传播实现整个架构的端到端训练，利用可微分的池化与反池化操作。

实验结果

研究问题

• RQ1 能否通过可学习的池化与反池化操作，有效将 U-Net 式架构适配于图结构化数据？
• RQ2 如何使图池化操作具备可微分性与结构感知能力，以在下采样过程中保留关键信息？
• RQ3 池化的逆操作（反池化）是否能利用节点位置信息准确重建原始图结构？
• RQ4 所提出的 Graph U-Net 架构是否在节点与图分类任务上优于现有 GNN 模型？
• RQ5 跳跃连接与分层特征学习在图表示学习中对性能的提升程度如何？

主要发现

• Graph U-Nets 在节点分类与图分类任务上均持续优于先前模型。
• 所提出的 gPool 与 gUnpool 操作实现了图数据上的有效分层特征学习，类似于图像分割中的 U-Net。
• 模型通过编码器与解码器层之间的跳跃连接，保留了细粒度的结构与特征信息。
• gPool 与 gUnpool 的可微分特性使得整个架构可实现端到端训练。
• 性能提升归因于 gPool 能聚焦于显著节点，以及 gUnpool 能准确重建这些节点。
• 实证结果表明，Graph U-Nets 在标准图基准数据集上优于现有基线模型。