[论文解读] Graph Convolutional Networks for Classification with a Structured Label Space

Meihao Chen, Zhuo-Ru Lin+1 more|arXiv (Cornell University)|Oct 12, 2017

Machine Learning and Data Classification参考文献 28被引用 17

一句话总结

本文提出了一种图卷积网络（GCN）增强的神经网络分类器，利用已知的标签图结构以提升多分类性能，尤其增强了top-k预测的语义相关性。通过在拼接的输入表示与类别表示上堆叠GCN层，模型学习到尊重结构关系的类别特定特征，在图论指标（如预测直径和与真实标签的距离）上优于基线模型，尤其在文档分类和物体识别任务中表现更优。

ABSTRACT

It is a usual practice to ignore any structural information underlying classes in multi-class classification. In this paper, we propose a graph convolutional network (GCN) augmented neural network classifier to exploit a known, underlying graph structure of labels. The proposed approach resembles an (approximate) inference procedure in, for instance, a conditional random field (CRF). We evaluate the proposed approach on document classification and object recognition and report both accuracies and graph-theoretic metrics that correspond to the consistency of the model's prediction. The experiment results reveal that the proposed model outperforms a baseline method which ignores the graph structures of a label space in terms of graph-theoretic metrics.

研究动机与目标

• 解决标准多分类分类器忽略标签间结构关系的局限性。
• 通过将已知的标签关系融入分类过程，提升top-k预测的相关性。
• 开发一种深度学习框架，近似结构化推理而无需迭代的概率推理。
• 在具有层次结构或相关性的标签任务（如文档分类和物体识别）上评估模型性能。
• 引入图论指标以评估模型预测的语义一致性，超越标准准确率。

提出的方法

• 模型使用GCN处理图结构化的标签空间，其中节点代表类别，边编码已知关系。
• 将输入特征与类别嵌入拼接，并通过多层GCN处理，生成类别感知的表示。
• 最终分类器基于输入表示与GCN处理后的类别嵌入之间的点积计算得分。
• 整个网络通过标准反向传播端到端训练，避免了CRF或MRF中使用的复杂推理过程。
• 该方法通过标签图上的消息传递，将结构信息传播至类别表示中。
• 使用图论指标（如预测直径和与真实标签的距离）评估top-k预测的语义一致性。

实验结果

研究问题

• RQ1 通过利用标签结构，GCN增强的神经网络能否提升多分类中top-k预测的语义相关性？
• RQ2 与标准MLP和基于CRF的模型相比，所提模型在准确率和图论指标上的表现如何？
• RQ3 当模型在有无结构感知的情况下进行训练时，标签图结构在多大程度上影响预测质量？
• RQ4 与独立的类别嵌入相比，通过标签图进行消息传递是否能带来更一致且语义上更连贯的预测？
• RQ5 所提方法能否在不同类型的标签图（如WordNet层次结构或基于定义的相似性图）上实现泛化？

主要发现

• GCNTD模型在top-k精确率和召回率上显著优于标准MLP和MLP-CRF基线模型，尤其在k增大时，表明预测更紧密地聚集在语义相关的类别中。
• 在文档分类数据集上，GCNTD实现了83%的top-1准确率和95%的top-10准确率，预测直径为2.40，与真实标签的平均距离为1.35。
• GCNTD-FC变体（假设标签图为全连接）达到了最高准确率（84%）和最佳图论指标，证实了完整消息传递的优势。
• 在物体识别任务中，GCNTD在图论指标（如直径和距离）上优于MLP，尽管MLP在标准准确率上略胜一筹。
• 集成方法对GCNTD的性能提升优于对MLP的提升，尤其在top-1和top-10准确率上，表明模型在不确定性下具有更强的泛化能力。
• 模型预测在语义上更接近真实标签，表现为更低的预测直径和与真实标签更小的距离，尤其在文档分类任务中表现明显。