[论文解读] Active Learning for Graph Neural Networks via Node Feature Propagation

Yuexin Wu, Yichong Xu+3 more|arXiv (Cornell University)|Oct 16, 2019

Advanced Graph Neural Networks参考文献 38被引用 28

一句话总结

本文提出 FeatProp，一种用于图神经网络的新型主动学习方法，通过节点特征传播结合 K-Medoids 聚类来选择信息量丰富的节点。该方法在多个基准数据集上优于最先进基线方法，通过利用图结构表示提升了样本效率和泛化能力，尤其在低标签设置下表现优异。

ABSTRACT

Graph Neural Networks (GNNs) for prediction tasks like node classification or edge prediction have received increasing attention in recent machine learning from graphically structured data. However, a large quantity of labeled graphs is difficult to obtain, which significantly limits the true success of GNNs. Although active learning has been widely studied for addressing label-sparse issues with other data types like text, images, etc., how to make it effective over graphs is an open question for research. In this paper, we present an investigation on active learning with GNNs for node classification tasks. Specifically, we propose a new method, which uses node feature propagation followed by K-Medoids clustering of the nodes for instance selection in active learning. With a theoretical bound analysis we justify the design choice of our approach. In our experiments on four benchmark datasets, the proposed method outperforms other representative baseline methods consistently and significantly.

研究动机与目标

• 解决图神经网络（GNNs）在节点分类任务中标签数据有限的挑战。
• 开发一种对训练不足的 GNN 表示鲁棒且对噪声或不准确嵌入不敏感的主动学习方法。
• 通过基于传播节点特征的几何特性选择代表性节点，提升样本效率。
• 提供理论基础扎实的方法，将分类损失与传播特征的几何结构联系起来。
• 在标准图基准数据集上超越现有主动学习基线方法。

提出的方法

• 使用预训练的 GNN 通过图结构传播节点特征，生成更具信息量的表示。
• 对传播后的特征应用 K-Medoids 聚类，以选择多样且具有代表性的节点作为初始训练集。
• 基于最终 GCN 层表示设计距离函数，引导聚类过程，确保聚类中心为图中的实际节点。
• 理论分析表明，分类损失存在一个与传播特征几何分布相关的上界。
• 消融研究中用 K-Center 替代 K-Medoids，以评估方法的鲁棒性与性能权衡。
• 与 Coreset 和基于不确定性的方法进行比较，验证在多个数据集和标签预算下的有效性。

实验结果

研究问题

• RQ1 节点特征传播能否提升 GNN 主动学习中代表性节点的选择效果？
• RQ2 传播特征的几何分布如何影响 GNN 在低标签设置下的泛化性能？
• RQ3 对传播特征进行 K-Medoids 聚类是否优于 K-Center 或其他聚类策略？
• RQ4 基于表示几何的方法是否能在图的主动学习中超越基于不确定性的或基于中心性的选择方法？
• RQ5 所提出方法是否对初始模型权重较差或 GNN 训练不足具有鲁棒性？

主要发现

• FeatProp 在所有四个基准数据集（Cora、Citeseer、PubMed、Reddit）上均优于所有基线方法，包括 Coreset 和基于不确定性的方法。
• 该方法在 Macro-F1 分数上的标准差为第二低，表明其具有高稳定性，尤其在标签预算较小时表现突出。
• 消融研究显示，将 K-Medoids 替换为 K-Center 会导致性能显著下降，验证了使用实际节点作为聚类中心的重要性。
• 使用最终 GCN 层的 L2 距离作为距离度量的性能劣于所提方法，尤其在标签数量有限的早期训练阶段表现更差。
• 即使在 GNN 训练不足的情况下，FeatProp 仍能保持强性能，表明其对表示质量较差的情况具有鲁棒性。
• 与 Coreset 相比，FeatProp 表现持续更优，尤其在 Cora 和 Citeseer 上，即使 Coreset-greedy 优于 CoresetMIP，也说明 Coreset 的假设在图结构数据上并不成立。