[论文解读] Confidence-based Graph Convolutional Networks for Semi-Supervised Learning

Shikhar Vashishth, Prateek Yadav+2 more|arXiv (Cornell University)|Jan 24, 2019

Advanced Graph Neural Networks被引用 23

一句话总结

该论文提出ConfGCN，一种新型图卷积网络，通过联合预测节点标签得分及其相关置信度，利用置信度估计在消息传递过程中动态加权邻域影响。通过实现各向异性的聚合（偏好高置信度邻居），ConfGCN在噪声较大或高熵邻域中表现优于最先进方法，且在更深架构中有效缓解性能下降问题。

ABSTRACT

Predicting properties of nodes in a graph is an important problem with applications in a variety of domains. Graph-based Semi-Supervised Learning (SSL) methods aim to address this problem by labeling a small subset of the nodes as seeds and then utilizing the graph structure to predict label scores for the rest of the nodes in the graph. Recently, Graph Convolutional Networks (GCNs) have achieved impressive performance on the graph-based SSL task. In addition to label scores, it is also desirable to have confidence scores associated with them. Unfortunately, confidence estimation in the context of GCN has not been previously explored. We fill this important gap in this paper and propose ConfGCN, which estimates labels scores along with their confidences jointly in GCN-based setting. ConfGCN uses these estimated confidences to determine the influence of one node on another during neighborhood aggregation, thereby acquiring anisotropic capabilities. Through extensive analysis and experiments on standard benchmarks, we find that ConfGCN is able to outperform state-of-the-art baselines. We have made ConfGCN's source code available to encourage reproducible research.

研究动机与目标

• 解决图卷积网络（GCNs）在半监督学习中缺乏置信度估计的问题。
• 改善因标准GCNs采用均匀邻域聚合而在异质性与噪声邻域中失效的图节点分类性能。
• 提出一种利用置信度得分实现图卷积过程中各向异性影响加权的方法，优先考虑可靠邻居。
• 证明基于置信度的加权可提升对高邻域标签熵和深层架构的鲁棒性。

提出的方法

• ConfGCN通过可微分的目标函数联合学习节点标签得分与置信度得分，该函数同时包含预测损失与置信度正则化项。
• 利用置信度估计调节聚合过程中邻近节点的注意力或影响，实现各向异性的消息传递。
• 置信度得分源自模型自身的预测结果，并通过反向传播端到端优化。
• 该方法引入一种置信度感知的聚合机制，其中邻居的影响按其置信度进行缩放。
• 采用多任务损失函数，结合交叉熵损失用于标签预测与置信度正则化项以稳定置信度估计。
• 在标准引文网络（Cora、Citeseer、Cora-ML）上评估该框架，结果表明其在鲁棒性与性能上优于Kipf-GCN与GAT。

实验结果

研究问题

• RQ1 联合估计标签得分与置信度得分是否能提升图上半监督节点分类的泛化能力？
• RQ2 基于置信度的邻域加权在高熵或噪声图邻域中如何影响性能表现？
• RQ3 置信度感知的聚合能否缓解深层GCN架构中的性能下降问题？
• RQ4 置信度估计在多大程度上提升了对节点邻域标签不匹配的鲁棒性？

主要发现

• ConfGCN在所有数据集上均优于Kipf-GCN与GAT，在Cora-ML数据集中高阶度节点上性能较GAT与Kipf-GCN提升3%。
• ConfGCN在邻域标签熵的所有四分位数中均表现更优，即使在高度异质性邻域中也能保持高准确率。
• 与Kipf-GCN相比，ConfGCN在GCN深度增加时表现出更渐进的性能下降，而Kipf-GCN则出现准确率骤降。
• 消融实验表明，损失函数的所有组件（包括置信度正则化与标签预测损失）均对性能有贡献，完整目标函数取得最佳结果。
• 置信度估计实现了各向异性的聚合，使ConfGCN能够通过赋予高置信度邻居$b$与$c$更高影响，正确分类图1中的节点$a$，而降低低置信度邻居$d$、$e$与$f$的影响。
• 在Cora-ML数据集中，ConfGCN性能优于GPNN，后者因小子图中高标签不匹配率导致误差传播而表现下降。