[论文解读] Classification by Attention: Scene Graph Classification with Prior Knowledge

Sahand Sharifzadeh, Sina Moayed Baharlou+1 more|arXiv (Cornell University)|Nov 19, 2020

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出了一种多任务学习框架，通过基于注意力的分类层将视觉感知与常识先验知识相结合，实现在物体关系上的迭代推理。通过将分类视为一种注意力机制，模型能够将先验知识注入视觉表征中，在仅使用1%标注数据的情况下，结合自监督预训练，实现了场景图分类准确率提升26%，谓词预测性能提升36%。

ABSTRACT

A major challenge in scene graph classification is that the appearance of objects and relations can be significantly different from one image to another. Previous works have addressed this by relational reasoning over all objects in an image or incorporating prior knowledge into classification. Unlike previous works, we do not consider separate models for perception and prior knowledge. Instead, we take a multi-task learning approach, where we implement the classification as an attention layer. This allows for the prior knowledge to emerge and propagate within the perception model. By enforcing the model also to represent the prior, we achieve a strong inductive bias. We show that our model can accurately generate commonsense knowledge and that the iterative injection of this knowledge to scene representations leads to significantly higher classification performance. Additionally, our model can be fine-tuned on external knowledge given as triples. When combined with self-supervised learning and with 1% of annotated images only, this gives more than 3% improvement in object classification, 26% in scene graph classification, and 36% in predicate prediction accuracy.

研究动机与目标

• 为解决图像中物体和关系外观在视觉上存在差异的问题，该问题阻碍了场景图分类。
• 克服现有模型中将感知与先验知识视为独立、分离组件的局限性。
• 通过共享的端到端训练，实现在视觉特征与关系常识知识之间的相互知识迁移。
• 证明通过注意力机制注入先验知识可提升泛化能力，尤其在低数据设置下表现更优。
• 表明模型可在外部知识三元组上进行微调，同时在极少监督下仍保持高性能。

提出的方法

• 将分类重新定义为注意力层而非全连接层，以允许先验知识在感知模型内部传播。
• 采用多任务学习联合训练视觉表征学习与先验知识整合，两个任务共享参数。
• 通过迭代式融合，将来自知识图（通过嵌入表示）的先验知识注入基于图像的表征中。
• 利用自监督预训练（如BYOL）初始化模型，随后在视觉基因组数据集上使用有限标注进行微调。
• 将模式表示为共享嵌入，同时编码基于图像的知识与关系知识，从而实现对未见三元组的泛化。
• 在模式表示上执行链接预测，以评估模型在无视觉输入情况下的关系常识理解能力。

实验结果

研究问题

• RQ1 基于注意力的分类是否能在不单独建模的情况下，将先验知识整合进视觉表征？
• RQ2 在低数据设置下，先验知识的迭代注入是否能提升场景图分类性能？
• RQ3 当视觉线索微弱时，模型是否仍能学习并泛化常识性关系知识（如“水果在碗中”）？
• RQ4 在外部知识三元组上微调时，模型的性能如何，尤其是在极少监督下？
• RQ5 模型的内部表征在多大程度上反映了有意义的语义与关系结构？

主要发现

• 仅使用1%标注图像时，模型在场景图分类准确率上相比基线模型提升了26%。
• 在相同低数据设置下，谓词预测准确率提升了36%，表明对未见关系具有强大的泛化能力。
• 当使用预训练的模式和外部知识三元组时，即使无视觉输入，模型在谓词预测上也接近达到全性能。
• t-SNE可视化结果表明，注入先验知识后，物体表征变得更加可分，表明语义聚类得到改善。
• 仅基于模式表示的链接预测达到了非平凡的准确率，表明模型已内化关系常识知识。
• 模型在所有指标上均优于基线模型，尤其在低数据设置下表现更优，并通过多次随机种子的统计稳定性展现出鲁棒性。