[论文解读] Node Classification on Graphs with Few-Shot Novel Labels via Meta Transformed Network Embedding

Lin Lan, Pinghui Wang+4 more|arXiv (Cornell University)|Jul 6, 2020

Advanced Graph Neural Networks参考文献 46被引用 23

一句话总结

该论文提出 MetaTNE，一种元学习框架，通过结合图结构表征与可学习的嵌入变换，实现在具有新标签的图上的少样本节点分类。通过利用已知标签元学习结构模式，并应用变换函数以适应表示，MetaTNE 在四个真实世界数据集上显著优于当前最先进方法，展现出对未见标签的强大泛化能力，且仅需极少支持样本。

ABSTRACT

We study the problem of node classification on graphs with few-shot novel labels, which has two distinctive properties: (1) There are novel labels to emerge in the graph; (2) The novel labels have only a few representative nodes for training a classifier. The study of this problem is instructive and corresponds to many applications such as recommendations for newly formed groups with only a few users in online social networks. To cope with this problem, we propose a novel Meta Transformed Network Embedding framework (MetaTNE), which consists of three modules: (1) A \emph{structural module} provides each node a latent representation according to the graph structure. (2) A \emph{meta-learning module} captures the relationships between the graph structure and the node labels as prior knowledge in a meta-learning manner. Additionally, we introduce an \emph{embedding transformation function} that remedies the deficiency of the straightforward use of meta-learning. Inherently, the meta-learned prior knowledge can be used to facilitate the learning of few-shot novel labels. (3) An \emph{optimization module} employs a simple yet effective scheduling strategy to train the above two modules with a balance between graph structure learning and meta-learning. Experiments on four real-world datasets show that MetaTNE brings a huge improvement over the state-of-the-art methods.

研究动机与目标

• 解决在仅有少量标注样本（少样本新标签）的情况下，图中出现新且此前未见标签的节点分类问题。
• 从已知标签中学习图结构与节点标签之间的共享传播模式，以提升对新标签的泛化能力。
• 克服现有无监督与半监督方法在少样本新标签场景下表现不佳的局限性。
• 设计一种将图网络嵌入与元学习相结合的框架，使其对不规则图结构具有鲁棒性与有效性。
• 在训练后可直接对新标签进行推理，无需微调或重新训练。

提出的方法

• 结构模块仅基于图拓扑使用图神经网络学习节点表示。
• 元学习模块在训练期间模拟少样本分类任务，学习已知标签上标签-结构关系的先验分布。
• 嵌入变换函数将仅基于结构的节点嵌入映射到任务特定表示，提升对新标签的适应能力。
• 调度策略平衡结构与元学习目标的优化，以增强训练稳定性和性能。
• 框架通过动态损失加权联合训练结构与元学习模块，避免对任一组件的过拟合。
• 在推理阶段直接应用元学习得到的变换，实现类似零样本学习的适应，仅需极少支持样本。

实验结果

研究问题

• RQ1 元学习能否有效适配于图结构数据，以实现对具有新标签的少样本节点分类？
• RQ2 如何捕捉并利用图结构与标签之间的共享传播模式，以提升少样本泛化能力？
• RQ3 嵌入变换函数在连接仅基于结构的表示与任务特定分类之间起到何种作用？
• RQ4 如何平衡结构与元学习组件的训练，以避免不稳定并提升性能？
• RQ5 所提出的框架能否在仅有少量支持节点的情况下，有效泛化到新标签，并超越现有最先进方法？

主要发现

• MetaTNE 在四个真实世界数据集上达到最先进性能，证明在少样本节点分类任务中相较于现有方法具有持续且显著的性能提升。
• 消融实验确认了嵌入变换函数的必要性，即使在使用预训练节点嵌入的情况下，移除该函数（V1）仍导致性能下降。
• 所提出的调度策略（V4）通过平衡结构与元学习目标，提升了性能，优于使用固定损失权重的联合优化策略（V3）。
• 在预训练后固定节点嵌入（V5）导致性能差，证明结构与元学习组件的联合优化至关重要。
• 使用自注意力机制计算任务特定嵌入的变体（V2）表现不如 MetaTNE，验证了公式 (3) 所提出的变换机制的有效性。
• 可视化与消融实验表明，变换函数增强了表示的适应性，尤其在低资源新标签上表现更优。