[论文解读] Multi-Label Graph Convolutional Network Representation Learning

Min Shi, Yufei Tang+2 more|arXiv (Cornell University)|Dec 26, 2019

Text and Document Classification Technologies参考文献 29被引用 4

一句话总结

本文提出多标签图卷积网络（ML-GCN），一种孪生GCN框架，通过建模节点-节点-标签和标签-标签-节点图，联合学习节点与标签表征。通过在统一目标下整合标签相关性与网络拓扑结构，ML-GCN显著提升了基线方法在多标签节点分类任务上的性能，凸显了标签交互在表征学习中的关键作用。

ABSTRACT

Knowledge representation of graph-based systems is fundamental across many disciplines. To date, most existing methods for representation learning primarily focus on networks with simplex labels, yet real-world objects (nodes) are inherently complex in nature and often contain rich semantics or labels, e.g., a user may belong to diverse interest groups of a social network, resulting in multi-label networks for many applications. The multi-label network nodes not only have multiple labels for each node, such labels are often highly correlated making existing methods ineffective or fail to handle such correlation for node representation learning. In this paper, we propose a novel multi-label graph convolutional network (ML-GCN) for learning node representation for multi-label networks. To fully explore label-label correlation and network topology structures, we propose to model a multi-label network as two Siamese GCNs: a node-node-label graph and a label-label-node graph. The two GCNs each handle one aspect of representation learning for nodes and labels, respectively, and they are seamlessly integrated under one objective function. The learned label representations can effectively preserve the inner-label interaction and node label properties, and are then aggregated to enhance the node representation learning under a unified training framework. Experiments and comparisons on multi-label node classification validate the effectiveness of our proposed approach.

研究动机与目标

• 为解决现有图表征学习方法仅关注单一标签的局限性，这些方法无法捕捉现实网络中复杂且相关的多标签语义。
• 通过同时利用标签-标签相关性和网络拓扑结构，建模节点表征与标签表征之间的相互增强机制。
• 开发一个统一的训练框架，在单一目标函数下整合节点与标签表征学习。
• 验证引入标签相关性可增强节点表征学习，尤其对低频或相关标签具有显著提升。
• 在真实世界多标签网络上，证明所提出的ML-GCN模型优于现有的基于GCN和多标签学习的基线方法。

提出的方法

• 该方法构建两个孪生GCN：一个用于学习节点表征的节点-节点-标签图，另一个用于学习标签表征的标签-标签-节点图。
• 通过将标签视为通过共享标签节点连接的节点，标签-标签-节点图建模标签相关性，捕捉标签间的依赖关系。
• 通过统一的优化目标联合学习节点与标签表征，实现在训练过程中相互优化。
• 模型使用图卷积层聚合来自邻近节点和相关标签的特征，可学习参数通过端到端方式更新。
• 引入特征更新频率（N和M）以控制训练过程中节点与标签表征更新的同步性。
• 最终的节点表征通过聚合编码了标签相关性和共享社区结构的标签表征得到增强。

实验结果

研究问题

• RQ1 联合学习节点与标签表征是否能超越传统GCN，在多标签节点分类任务中实现性能提升？
• RQ2 标签相关性在多标签网络中如何影响节点表征学习的质量？
• RQ3 通过独立的标签-标签-节点图建模标签-标签交互，对整体性能有何影响？
• RQ4 不同架构选择（如GCN深度、特征更新频率）如何影响模型捕捉标签相关性和拓扑结构的能力？
• RQ5 引入标签相关性在低频或高度相关标签上的性能提升程度如何？

主要发现

• ML-GCN在所有数据集上均优于GCN及其他变体（如ML-GCN node、ML-GCN 1l、ML-GCN 2l），证明了联合节点-标签学习的有效性。
• 随着训练节点中标记数量的增加，模型在Micro-F1和Macro-F1指标上均表现提升，证实其对监督信号的依赖性。
• 当第一层卷积的嵌入维度为400–450时性能达到峰值，之后准确率急剧下降，表明存在最优维度。
• 标签相关性显著提升分类性能：与高影响力标签（如L1）相关性越强的类别，使用ML-GCN后准确率提升越明显。
• 案例研究证实标签交互至关重要——ML-GCN在与L1相关的L2、L3和L4标签上表现提升，而GCN则无此效果。
• 消融研究显示，在标签-标签网络中使用公共节点作为属性，可改善标签表征学习，从而增强节点表征聚合效果。