[论文解读] Learning Graph Normalization for Graph Neural Networks

Yihao Chen, Xin Tang+3 more|arXiv (Cornell University)|Sep 24, 2020

Advanced Graph Neural Networks参考文献 52被引用 12

一句话总结

该论文提出一种可学习图归一化（GN）方法，通过在四个结构层次上优化自适应权重，自动选择最优的归一化技术——节点级、邻接级、图级和批量级。该方法通过根据任务需求动态组合归一化策略，在节点分类、链接预测和图回归任务中均提升了GNN的性能。

ABSTRACT

Graph Neural Networks (GNNs) have attracted considerable attention and have emerged as a new promising paradigm to process graph-structured data. GNNs are usually stacked to multiple layers and the node representations in each layer are computed through propagating and aggregating the neighboring node features with respect to the graph. By stacking to multiple layers, GNNs are able to capture the long-range dependencies among the data on the graph and thus bring performance improvements. To train a GNN with multiple layers effectively, some normalization techniques (e.g., node-wise normalization, batch-wise normalization) are necessary. However, the normalization techniques for GNNs are highly task-relevant and different application tasks prefer to different normalization techniques, which is hard to know in advance. To tackle this deficiency, in this paper, we propose to learn graph normalization by optimizing a weighted combination of normalization techniques at four different levels, including node-wise normalization, adjacency-wise normalization, graph-wise normalization, and batch-wise normalization, in which the adjacency-wise normalization and the graph-wise normalization are newly proposed in this paper to take into account the local structure and the global structure on the graph, respectively. By learning the optimal weights, we are able to automatically select a single best or a best combination of multiple normalizations for a specific task. We conduct extensive experiments on benchmark datasets for different tasks, including node classification, link prediction, graph classification and graph regression, and confirm that the learned graph normalization leads to competitive results and that the learned weights suggest the appropriate normalization techniques for the specific task. Source code is released here https://github.com/cyh1112/GraphNormalization.

研究动机与目标

• 解决图神经网络（GNNs）中归一化技术选择的挑战，这些技术在不同任务中表现差异显著。
• 克服固定归一化方法（如批量归一化）在不同图结构任务中表现不一致的局限性。
• 提出一个统一框架，学习在不同结构层次（节点、局部邻接、全局图和批量）上组合多种归一化策略。
• 通过可微分地加权归一化组件，实现在任务自适应下的自动归一化技术选择。
• 证明所学归一化方法在节点分类、链接预测和图回归等多样化基准上的性能提升。

提出的方法

• 引入四种归一化技术：节点级（基于节点的统计量）、邻接级（基于局部邻域结构）、图级（基于全局图结构）和批量级（基于小批量统计量）。
• 构建一个可学习图归一化（GN）层，通过可微分参数的加权和组合这四种归一化类型。
• 使用反向传播优化归一化权重，使模型能够学习在特定任务下最有效的归一化类型。
• 将GN层集成到GatedGCN架构中，评估其在多种图学习任务上的性能。
• 为每种归一化类型使用可学习的权重向量 λ ∈ ℝ^d，通过通道维度的逐元素平均分析各层中每种归一化的重要性。
• 将GN层整合到消息传递GNN中，支持带残差连接和批量归一化的端到端训练。

实验结果

研究问题

• RQ1 在多样化图学习任务中，不同归一化技术（节点级、邻接级、图级、批量级）的表现如何？
• RQ2 统一框架能否自适应地组合多种归一化策略以提升GNN性能？
• RQ3 所学归一化权重是否反映任务特定的对某些归一化类型的偏好？
• RQ4 所提出的可学习图归一化（GN）是否在多个基准上优于固定归一化基线？
• RQ5 通过可学习权重组合表现最佳的归一化方法，能否达到或超过单一最佳方法的性能？

主要发现

• 所提出的可学习图归一化（GN）在所有评估任务中均表现出竞争力，其在每个数据集上的性能均匹配或超过单一最佳归一化方法。
• 在节点分类任务中，图级归一化（GN g）和邻接级归一化（GN a）持续优于其他方法，其中GN g在SROIE数据集上达到96.2%的准确率，在CLUSTER数据集上达到69.31%。
• 在图分类和回归任务（如ZINC）中，批量级归一化（GN b）表现更优，其在ZINC上的平均绝对误差（MAE）达到0.4311，优于其他方法。
• 所学权重在不同层和数据集间动态变化，表明不同层偏好不同的归一化策略，其中GN g在节点分类任务中占主导地位，GN b在图级任务中表现更优。
• 通过GN框架组合两种表现最佳的归一化方法，其结果与最佳单一方法相当，证实了自适应融合的有效性。
• 通过权重分析验证了模型学习任务特定归一化偏好的能力，结果显示GN g在节点级任务中最为关键，GN b在图级任务中更为重要。