[论文解读] GCNBoost: Artwork Classification by Label Propagation through a Knowledge Graph

Cheikh Brahim El Vaigh, Noa García+4 more|arXiv (Cornell University)|May 25, 2021

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 4

一句话总结

GCNBoost 提出了一种基于知识图谱增强的图卷积网络（GCN），通过在已标注和伪标注数据之间进行标签传播，实现艺术作品分类。通过建模艺术作品之间的语义和上下文关系，该方法在绘画和佛像分类数据集上取得了最先进（SOTA）的性能，尤其在数据不平衡的情况下表现更优，但在图中连接度极低的类别上表现欠佳。

ABSTRACT

The rise of digitization of cultural documents offers large-scale contents, opening the road for development of AI systems in order to preserve, search, and deliver cultural heritage. To organize such cultural content also means to classify them, a task that is very familiar to modern computer science. Contextual information is often the key to structure such real world data, and we propose to use it in form of a knowledge graph. Such a knowledge graph, combined with content analysis, enhances the notion of proximity between artworks so it improves the performances in classification tasks. In this paper, we propose a novel use of a knowledge graph, that is constructed on annotated data and pseudo-labeled data. With label propagation, we boost artwork classification by training a model using a graph convolutional network, relying on the relationships between entities of the knowledge graph. Following a transductive learning framework, our experiments show that relying on a knowledge graph modeling the relations between labeled data and unlabeled data allows to achieve state-of-the-art results on multiple classification tasks on a dataset of paintings, and on a dataset of Buddha statues. Additionally, we show state-of-the-art results for the difficult case of dealing with unbalanced data, with the limitation of disregarding classes with extremely low degrees in the knowledge graph.

研究动机与目标

• 通过利用文化遗产数据中的上下文关系，提升艺术作品分类性能。
• 通过构建知识图谱，解决文化遗产文物分类中标签数据有限的挑战。
• 通过使用标签传播的归纳式学习，提升模型在数据不平衡数据集上的泛化能力和性能。
• 将标注数据与伪标注数据统一整合到知识图谱中，以提升表征学习效果。
• 评估知识图谱集成在超越标准监督学习的 GCN 基础分类任务中的有效性。

提出的方法

• 从标注和伪标注的艺术作品数据中构建知识图谱，编码艺术作品之间的语义与结构关系。
• 使用归纳式学习在知识图谱中传播标签，利用节点邻近性和图结构。
• 在知识图谱上训练图卷积网络（GCN），通过消息传递机制优化节点表征。
• 应用标签传播算法，根据图拓扑结构和节点嵌入，将标签从已标注节点传播至未标注节点。
• 将内容特征（如视觉嵌入）与基于图的关系特征相结合，以提升分类性能。
• 采用多阶段训练流程：先在已标注数据上进行预训练，再利用基于图的伪标签进行微调。

实验结果

研究问题

• RQ1 能否通过结合已标注和伪标注数据构建的知识图谱，提升艺术作品分类性能？
• RQ2 通过知识图谱进行标签传播，对不平衡艺术作品分类任务的性能有何影响？
• RQ3 图连通性对模型性能的影响如何，特别是对低频类别的影响？
• RQ4 将关系知识与视觉特征结合，是否能带来比标准 GCN 或监督基线更好的泛化能力？
• RQ5 GCNBoost 在多样化的文化遗产数据集上与最先进方法相比表现如何？

主要发现

• GCNBoost 在多个艺术作品分类任务中，包括绘画和佛像分类，均取得了最先进性能。
• 该方法通过利用知识图谱提供的关系归纳偏置，显著提升了在数据不平衡数据集上的分类准确率。
• 对于知识图谱中度数极低的类别，性能下降，表明模型对图连通性较为敏感。
• 通过知识图谱进行标签传播，能有效实现从已标注数据到未标注数据的知识迁移，增强泛化能力。
• 将伪标注数据整合进知识图谱，可提升模型的鲁棒性与性能，优于纯监督基线方法。
• 该方法在不同文化遗产领域（如宗教与艺术绘画）之间展现出强大的可迁移性。