[论文解读] Graph-Revised Convolutional Network

Donghan Yu, Ruohong Zhang+3 more|arXiv (Cornell University)|Nov 17, 2019

Advanced Graph Neural Networks参考文献 36被引用 7

一句话总结

本文提出图修订卷积网络（GRCN），一种新颖的框架，通过使用基于GCN的模块端到端训练来预测缺失边并修订边权重，从而联合学习图修订与节点分类。GRCN通过可微分图修订有效缓解结构噪声与缺失连接问题，在高度不完整图或标签稀疏的情况下显著优于强基线模型。

ABSTRACT

Graph Convolutional Networks (GCNs) have received increasing attention in the machine learning community for effectively leveraging both the content features of nodes and the linkage patterns across graphs in various applications. As real-world graphs are often incomplete and noisy, treating them as ground-truth information, which is a common practice in most GCNs, unavoidably leads to sub-optimal solutions. Existing efforts for addressing this problem either involve an over-parameterized model which is difficult to scale, or simply re-weight observed edges without dealing with the missing-edge issue. This paper proposes a novel framework called Graph-Revised Convolutional Network (GRCN), which avoids both extremes. Specifically, a GCN-based graph revision module is introduced for predicting missing edges and revising edge weights w.r.t. downstream tasks via joint optimization. A theoretical analysis reveals the connection between GRCN and previous work on multigraph belief propagation. Experiments on six benchmark datasets show that GRCN consistently outperforms strong baseline methods by a large margin, especially when the original graphs are severely incomplete or the labeled instances for model training are highly sparse.

研究动机与目标

• 为解决现有GCN假设图完美且无噪声的局限性，该假设导致在真实数据上性能次优。
• 克服图修订方法中模型表达能力与可扩展性之间的权衡，避免过度参数化模型或忽略缺失边。
• 开发一种可微分、端到端的框架，联合优化图修订与下游节点分类任务。
• 从理论上将GRCN与多图信念传播相联系，证明其在概念与实践上的优势。
• 在极端稀疏与不完整条件下，通过实证验证GRCN在基准数据集上的优越性。

提出的方法

• 引入基于GCN的图修订模块，利用节点嵌入与置信度分数预测缺失边并修订边权重。
• 通过将原始图与新预测边结合，构建修订后的邻接矩阵，支持基于梯度的优化。
• 模型采用可微分的top-k选择机制，在每次训练迭代中添加高置信度边。
• 框架实现图修订与节点分类的联合优化，支持端到端训练。
• 理论分析表明，GRCN等价于多图信念传播，证明其在处理节点间多重边源时的有效性。
• 方法通过可学习的相似度函数，同时利用节点特征与图结构以指导边预测。

实验结果

研究问题

• RQ1 可微分且可扩展的图修订机制是否能提升GCN在不完整与噪声图上的性能？
• RQ2 图修订与节点分类的联合优化与分离或启发式方法相比有何差异？
• RQ3 GRCN与多图信念传播之间存在何种理论关系？
• RQ4 在极端数据稀疏或图高度不完整时，GRCN是否仍保持强性能？
• RQ5 图修订模块的各组件（如特征学习、图传播）如何对整体性能产生贡献？

主要发现

• GRCN在六个涵盖多样化领域的基准数据集上达到最先进或极具竞争力的性能。
• 当原始图严重不完整或标签数据稀疏时，模型显著优于基线模型。
• 消融研究显示，特征学习与图传播至关重要，其中RWFG变体（与GRCN相似）优于SVD或FO等简单方法。
• 随着边保留率降低，GRCN与其消融变体之间的性能差距扩大，证实其在稀疏条件下的鲁棒性。
• 理论分析确认，GRCN的机制与多图信念传播一致，为其设计提供了原则性基础。
• 模型的端到端可微训练使缺失边的有效学习成为可能，且不会使模型参数呈二次方增长。