[论文解读] MM-GNN: Mix-Moment Graph Neural Network towards Modeling Neighborhood Feature Distribution

Wendong Bi, Lun Du+4 more|arXiv (Cornell University)|Aug 15, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出 MM-GNN，一种新型图神经网络，通过使用多阶矩而非单一统计量（例如均值、最大值）来建模邻域特征分布。通过结合多阶矩嵌入（Multi-order Moment Embedding）与基于元素注意力的矩量调节器（Element-wise Attention-based Moment Adaptor），MM-GNN 自适应地加权高阶矩，实现了在 15 个真实世界图数据集（包括社交网络与引文网络）上的最先进性能。

ABSTRACT

Graph Neural Networks (GNNs) have shown expressive performance on graph representation learning by aggregating information from neighbors. Recently, some studies have discussed the importance of modeling neighborhood distribution on the graph. However, most existing GNNs aggregate neighbors' features through single statistic (e.g., mean, max, sum), which loses the information related to neighbor's feature distribution and therefore degrades the model performance. In this paper, inspired by the method of moment in statistical theory, we propose to model neighbor's feature distribution with multi-order moments. We design a novel GNN model, namely Mix-Moment Graph Neural Network (MM-GNN), which includes a Multi-order Moment Embedding (MME) module and an Element-wise Attention-based Moment Adaptor module. MM-GNN first calculates the multi-order moments of the neighbors for each node as signatures, and then use an Element-wise Attention-based Moment Adaptor to assign larger weights to important moments for each node and update node representations. We conduct extensive experiments on 15 real-world graphs (including social networks, citation networks and web-page networks etc.) to evaluate our model, and the results demonstrate the superiority of MM-GNN over existing state-of-the-art models.

研究动机与目标

• 解决现有图神经网络依赖单一阶统计量（例如均值、最大值）进行邻域聚合所带来的局限性，此类方法无法完整捕捉特征分布。
• 探究高阶矩统计量（超越均值与方差）在区分图上节点表征中的重要性。
• 设计一种显式建模邻居特征多阶矩的图神经网络架构，以保留更丰富的分布信息。
• 引入一种自适应注意力机制，动态分配不同矩量阶次的重要性，从而提升表征学习效果。
• 在多种图类型及不同训练数据比例下，验证所提方法的有效性与鲁棒性。

提出的方法

• 提出多阶矩嵌入（MME），为每个节点计算邻居特征的有限阶矩（最高至阶次 K），以捕捉分布特性。
• 设计基于元素注意力的矩量调节器（AMA），学习节点特定的注意力权重，以突出信息量丰富的矩量阶次。
• 将 MME 与 AMA 集成至消息传递框架中，使模型能够利用加权的多阶矩信号更新节点表征。
• 采用可学习的注意力机制，实现对矩量阶次的逐元素操作，支持每个节点自适应选择相关分布特征。
• 使用标准图神经网络优化策略进行端到端训练，其中矩量聚合取代传统单统计量聚合器。
• 将矩量计算限制在有限且可配置的最大阶次 K，以在表达能力与计算成本之间取得平衡。

实验结果

研究问题

• RQ1 与单统计量聚合相比，建模邻域特征的高阶矩是否能提升图神经网络的节点表征学习性能？
• RQ2 不同矩量阶次（例如均值、方差、偏度）在区分一阶统计量相似的节点时分别起到何种作用？
• RQ3 对矩量阶次采用自适应注意力机制是否能带来优于固定或均匀加权的性能提升与可解释性？
• RQ4 MM-GNN 在多种图类型（包括社交网络、引文网络与网页网络）中的表现如何？
• RQ5 MM-GNN 在训练数据比例变化及超参数（如最大矩量阶次 K）变化下的鲁棒性如何？

主要发现

• MM-GNN 在 15 个真实世界图数据集上达到最先进性能，涵盖社交网络（如 Facebook、Chameleon）、引文网络（如 Cora、PubMed）与网页网络（如 Flickr）。
• 在 Facebook 社交网络上，即使仅使用 10% 的训练数据，MM-GNN 仍保持卓越性能，展现出强大的泛化能力与鲁棒性。
• 随着最大矩量阶次 K 的增加，性能持续提升，并在 K ≥ 3 时趋于稳定，表明高阶矩（如偏度、峰度）携带了有意义的信息。
• 注意力可视化显示，社交网络更倾向于为高阶矩分配更高权重，而引文网络则更偏好低阶矩，与数据复杂度与分布模式一致。
• 注意力机制具有可解释性：对某一矩量阶次赋予更高注意力权重，意味着该阶次的单矩基线模型性能更优，验证了其自适应选择能力。
• 在所有评估数据集与任务中，MM-GNN 均显著优于 GCN、GIN、GraphSAGE、GCNII 与 DAGNN 等强基线模型，证实了多阶矩建模的价值。