[论文解读] Active Learning for Node Classification: The Additional Learning Ability from Unlabelled Nodes.

Juncheng Liu, Yiwei Wang+3 more|arXiv (Cornell University)|Dec 13, 2020

Advanced Graph Neural Networks参考文献 32被引用 4

一句话总结

该论文提出 LSCALE，一种用于节点分类的新型主动学习方法，通过在 K-Medoids 聚类框架中结合无监督和有监督特征，利用未标记节点。通过动态整合两类特征并使用增量聚类避免冗余，LSCALE 在五个基准数据集上显著优于最先进方法，证明未标记节点所蕴含的学习潜力远超单纯获取标签本身。

ABSTRACT

Node classification on graph data is an important task on many practical domains. However, it requires labels for training, which can be difficult or expensive to obtain in practice. Given a limited labelling budget, active learning aims to improve performance by carefully choosing which nodes to label. Our empirical study shows that existing active learning methods for node classification are considerably outperformed by a simple method which randomly selects nodes to label and trains a linear classifier with labelled nodes and unsupervised learning features. This indicates that existing methods do not fully utilize the information present in unlabelled nodes as they only use unlabelled nodes for label acquisition. In this paper, we utilize the information in unlabelled nodes by using unsupervised learning features. We propose a novel latent space clustering-based active learning method for node classification (LSCALE). Specifically, to select nodes for labelling, our method uses the K-Medoids clustering algorithm on a feature space based on the dynamic combination of both unsupervised features and supervised features. In addition, we design an incremental clustering module to avoid redundancy between nodes selected at different steps. We conduct extensive experiments on three public citation datasets and two co-authorship datasets, where our proposed method LSCALE consistently and significantly outperforms the state-of-the-art approaches by a large margin.

研究动机与目标

• 为解决现有主动学习方法在节点分类中的局限性，即未能充分利用未标记节点除标签获取之外的信息。
• 探究在结合自监督表示学习时，未标记节点是否能提供额外的学习能力。
• 设计一种主动学习策略，通过在有监督和无监督嵌入的混合特征空间中聚类，有效选择信息量丰富的节点。
• 通过增量聚类机制减少在多个主动学习轮次中节点选择的冗余性。

提出的方法

• LSCALE 通过动态组合无监督节点表示（如来自 node2vec 或 DeepWalk 的表示）与先前训练模型的有监督嵌入，构建潜在特征空间。
• 在混合特征空间中应用 K-Medoids 聚类算法，识别代表性节点，并将聚类中心（medoids）选为下一轮标注的节点。
• 该方法集成了一种增量聚类模块，可在多个主动学习轮次中更新聚类结构，避免选择已标注或与先前选择节点高度相似的节点。
• 选择过程为迭代式：每轮标注后，模型重新训练，特征空间随之更新以反映新的有监督信号。
• 动态组合特征确保了结构模式（来自无监督学习）和预测信号（来自有监督学习）共同引导节点选择。
• 该方法避免依赖不确定性采样或多样性启发式策略，转而通过在混合特征空间中聚类，识别信息丰富且具有代表性的节点。

实验结果

研究问题

• RQ1 在节点分类的主动学习过程中，未标记节点是否能提供超越其标签获取作用的额外学习能力？
• RQ2 在潜在空间中结合无监督和有监督节点特征，是否能提升主动学习性能，相比仅使用有监督信号的方法？
• RQ3 在混合特征空间中对 K-Medoids 聚类是否能有效识别适合标注的信息性节点，从而优于基于不确定性的或基于多样性的选择策略？
• RQ4 增量聚类机制如何在多个主动学习轮次中防止节点选择的冗余性？
• RQ5 LSCALE 在不同图结构（如引文网络和合作者图）上的泛化能力如何？

主要发现

• LSCALE 在三个引文数据集（PubMed、Cora、Citeseer）和两个合作者数据集（DBLP、ACM）上，持续优于最先进主动学习方法。
• LSCALE 的性能提升显著且具有大规模优势，在相同标注预算下，多个数据集的准确率提升超过 10%。
• 消融实验表明，无监督与有监督特征的动态组合对 LSCALE 的成功至关重要，移除任一组件均导致性能下降。
• 增量聚类模块有效减少了冗余，确保在多个主动学习迭代中选择的节点具有多样性与代表性。
• 实证结果证实，未标记节点中蕴含着可通过恰当特征工程与聚类技术加以利用的未开发信息，挑战了‘仅已标注节点对学习有贡献’的假设。
• 即使采用仅使用无监督特征的随机采样基线，其性能也优于现有主动学习方法，凸显了以往工作中对未标记数据的利用不足。