[论文解读] Incomplete Graph Representation and Learning via Partial Graph Neural Networks

Bo Jiang, Ziyan Zhang|arXiv (Cornell University)|Mar 23, 2020

Advanced Graph Neural Networks参考文献 44被引用 15

一句话总结

本文提出部分图神经网络（PaGNNs），一种新颖的图神经网络（GNN）框架，通过将邻域聚合重新解释为部分重建问题，直接处理属性不完整的图。通过推导一种在不进行填充的情况下操作缺失数据的部分聚合函数，PaGNNs 在计算开销低于端到端填充-GNN 方法的前提下，实现了最先进性能。

ABSTRACT

Graph Neural Networks (GNNs) are gaining increasing attention on graph data learning tasks in recent years. However, in many applications, graph may be coming in an incomplete form where attributes of graph nodes are partially unknown/missing. Existing GNNs are generally designed on complete graphs which can not deal with attribute-incomplete graph data directly. To address this problem, we develop a novel partial aggregation based GNNs, named Partial Graph Neural Networks (PaGNNs), for attribute-incomplete graph representation and learning. Our work is motivated by the observation that the neighborhood aggregation function in standard GNNs can be equivalently viewed as the neighborhood reconstruction formulation. Based on it, we define two novel partial aggregation (reconstruction) functions on incomplete graph and derive PaGNNs for incomplete graph data learning. Extensive experiments on several datasets demonstrate the effectiveness and efficiency of the proposed PaGNNs.

研究动机与目标

• 解决节点特征部分缺失的图表示学习挑战。
• 克服标准 GNN 的局限性，后者假设节点特征完整，无法直接处理缺失属性。
• 开发一种统一的、端到端的学习框架，整合消息传递与缺失数据处理，无需额外的填充模块。
• 相比现有端到端模型（如 GCN MF），降低计算复杂度，后者需额外参数估计缺失数据。

提出的方法

• 将标准 GNN 的邻域聚合重新解释为邻域重建优化问题。
• 基于部分重建，定义两种新颖的部分聚合函数——均值与归一化，实现在不完整特征上的消息传递。
• 将部分聚合形式化为约束优化问题，仅最小化可观测特征上的重建误差。
• 推导出部分聚合函数的闭式解，实现在反向传播过程中高效、可微分的更新。
• 采用类似 GCN 的消息传递机制实现 PaGNNs，保持与标准 GNN 相同的时间复杂度。
• 端到端训练模型，无需预填充，直接在不完整图上优化下游任务。

实验结果

研究问题

• RQ1 GNN 中的邻域聚合能否被重新解释为重建问题，以处理不完整图数据？
• RQ2 如何推导出能在不进行填充的情况下有效处理缺失节点特征的部分聚合函数？
• RQ3 是否可以直接构建端到端的 GNN 框架来处理不完整图，其在准确率与效率上优于两阶段方法（填充 + GNN）？
• RQ4 所提出的部分聚合方案是否在处理缺失数据的同时，保持与标准 GNN 相当的计算效率？
• RQ5 PaGNNs 在不同图数据集上，随着缺失率增加，性能如何变化？

主要发现

• PaGNNs 在多种数据集（包括 Cora、Citeseer 和 Amazon 产品网络）上，于不同缺失率下，均实现了节点分类任务的最先进性能。
• PaGNN-N（归一化聚合）优于 PaGNN-M（均值聚合），在 AmaPhoto 数据集上 0.9 缺失率下达到 92.78% 准确率，超过 GCN MF（90.82%）和 SAT（90.48%）。
• PaGNNs 显著优于基于填充的方法（如 GAIN 和 VAE），尤其在高缺失率下表现更优（例如 Cora 在 0.9 缺失率下准确率为 83.16%，而 GCN MF 为 73.42%）。
• PaGNNs 比 GAIN、VAE、SAT 和 GCN MF 更高效，每轮训练时间与标准 GCN 相当，且快于所有两阶段基线模型。
• 即使在 90% 缺失率下，模型仍保持强性能，展现出对极端特征不完整性的鲁棒性。
• 消融实验表明，通过部分聚合进行直接学习，优于分离的填充与 GNN 训练，证实了联合优化的优势。