[论文解读] Hierarchical Bipartite Graph Convolution Networks

Marcel Nassar|arXiv (Cornell University)|Nov 17, 2018

Advanced Graph Neural Networks参考文献 6被引用 4

一句话总结

本文提出 BiGraphNet，一种分层双部图卷积网络，通过解耦输入与输出节点集，推广图卷积操作，实现高效的下采样卷积、图扩展和多图聚合等操作。在 ModelNet10 和 MNIST 基准测试中，该方法以更低的计算与内存开销实现了最先进性能。

ABSTRACT

Recently, graph neural networks have been adopted in a wide variety of applications ranging from relational representations to modeling irregular data domains such as point clouds and social graphs. However, the space of graph neural network architectures remains highly fragmented impeding the development of optimized implementations similar to what is available for convolutional neural networks. In this work, we present BiGraphNet, a graph neural network architecture that generalizes many popular graph neural network models and enables new efficient operations similar to those supported by ConvNets. By explicitly separating the input and output nodes, BiGraphNet: (i) generalizes the graph convolution to support new efficient operations such as coarsened graph convolutions (similar to strided convolution in convnets), multiple input graphs convolution and graph expansions (unpooling) which can be used to implement various graph architectures such as graph autoencoders, and graph residual nets; and (ii) accelerates and scales the computations and memory requirements in hierarchical networks by performing computations only at specified output nodes.

研究动机与目标

• 为解决图神经网络（GNN）架构中的碎片化问题，通过统一的、可泛化的框架整合多种 GNN 模型。
• 通过显式分离输入与输出节点，实现类似卷积神经网络（ConvNet）的高效操作，如步长大卷积、反池化与跳跃连接。
• 通过仅在输出节点上计算，而非所有输入节点，降低分层 GNN 中的计算与内存开销。
• 通过多图聚合与结构化图变换，支持新型架构如图自编码器与残差网络。

提出的方法

• 提出一种双部图卷积算子，其中输入与输出节点集互不相同，支持灵活的图变换。
• 通过对邻域特征应用约简操作（如求和、平均、最大值），并使用基于边标签或节点特征条件化的可学习核进行加权。
• 引入基于边条件的核与注意力机制，用于关系特征学习，包括一种新颖的边条件注意力机制。
• 通过聚类实现图下采样，通过反池化实现图扩展，模拟卷积神经网络中的步长大卷积与转置卷积操作。
• 通过在多个输入图中共享相同输出节点集，支持多图聚合，促进跳跃连接与特征融合。
• 通过仅在输出节点上计算，将计算复杂度降低至 O(|V_o|)，显著提升分层设置下的可扩展性。

实验结果

研究问题

• RQ1 统一的图卷积框架能否泛化多种 GNN 模型，并支持下采样与扩展等新操作？
• RQ2 双部图卷积如何在图结构数据中模拟卷积神经网络的关键操作，如步长大卷积与反池化？
• RQ3 通过共享输出节点的多图聚合能否有效实现图自编码器中的跳跃连接？
• RQ4 所提出的 BiGraphNet 架构在点云与图像分类任务中是否优于现有 GNN 模型，实现更优性能与效率？

主要发现

• 在 ModelNet10 基准测试中，BiGraphNet 达到 92.95% 的准确率，优于 ECC 模型（89.3%），并接近最佳报告结果（98.46%）。
• 在 MNIST-as-graph 基准测试中，BiGraphNet 经过 20 个周期训练后达到 97.71% 的准确率，略高于平均池化 ECC 变体（97.59%），并接近最大池化 ECC（99.05%）。
• 使用跳跃连接的 BiGraphNet 图自编码器在测试集上 MSE 为 0.066，显著优于 MLP（0.088）、ConvNet（0.094）与标准图自编码器（0.086）。
• 通过仅在输出节点上计算，计算复杂度降低至 O(|V_o|)，在分层 GNN 中显著提升内存效率与运行速度。
• 该架构支持即插即用的操作，如图下采样、扩展与多图聚合，无需额外的池化层。
• 该方法泛化了标准图卷积，通过结构化的双部图设计，可实现残差网络与自编码器。