[论文解读] Learning Concept Taxonomies from Multi-modal Data

Hao Zhang, Zhiting Hu+4 more|arXiv (Cornell University)|Jun 29, 2016

Video Analysis and Summarization参考文献 30被引用 3

一句话总结

本文提出了一种通过判别式训练的、基于概率的贝叶斯模型，该模型联合利用文本和图像的分布式表示，从零开始自动构建上下位词分类体系。通过在不同层次上对视觉和语言特征进行加权融合，该方法在 ImageNet 分类体系上的 F1 分数相比先前方法实现了 2 倍的提升，证明了多模态学习在分类体系构建中的有效性。

ABSTRACT

We study the problem of automatically building hypernym taxonomies from textual and visual data. Previous works in taxonomy induction generally ignore the increasingly prominent visual data, which encode important perceptual semantics. Instead, we propose a probabilistic model for taxonomy induction by jointly leveraging text and images. To avoid hand-crafted feature engineering, we design end-to-end features based on distributed representations of images and words. The model is discriminatively trained given a small set of existing ontologies and is capable of building full taxonomies from scratch for a collection of unseen conceptual label items with associated images. We evaluate our model and features on the WordNet hierarchies, where our system outperforms previous approaches by a large gap.

研究动机与目标

• 解决现有分类体系构建方法仅依赖文本数据、忽略丰富视觉语义信息的局限性。
• 开发一种联合概率模型，利用文本和视觉特征实现自动分类体系构建。
• 通过使用端到端的词和图像分布式表示，消除对手工设计特征的依赖。
• 仅使用少量现有本体作为判别式训练数据，即可实现对未见过的标签项及其关联图像的完整分类体系构建。
• 在真实世界分类体系（如 ImageNet）上评估模型性能，并证明视觉数据的互补价值。

提出的方法

• 模型使用分布式表示——词的 GloVe 和图像的预训练卷积神经网络（如 VGG-16、CNN-128）——作为紧凑且通用的特征。
• 它构建了一个概率贝叶斯框架，基于多模态特征建模概念之间 is-a 关系的可能性。
• 模型采用逐层权重向量（w_l）以自适应方式为分类体系层级中不同层次的特征分配重要性。
• 关键特征包括词-词关系（S-T1, PC-T1）、图像-图像相似性（S-V1, PC-V1）以及父子概念语义一致性。
• 模型通过少量现有本体进行判别式训练，从而实现对新标签集合的零样本分类体系构建。
• 通过各层归一化权重分析特征重要性，结果表明视觉特征在层级更深、更具体的层次上影响力更大。

实验结果

研究问题

• RQ1 与仅使用文本的方法相比，视觉数据是否能显著提升自动分类体系构建的性能？
• RQ2 如何在统一的概率框架中有效结合图像和文本的分布式表示以实现分类体系学习？
• RQ3 在语义层级的不同层次上，视觉特征与文本特征的重要性是否有所不同？
• RQ4 在少量现有本体上进行训练的模型，是否能够泛化到从未见过的标签集合，从而从零开始构建完整分类体系？
• RQ5 视觉相似性与语言模式在识别上下位词关系中的相对贡献是什么？

主要发现

• 所提模型在分类体系构建任务上的 F1 分数相比先前方法实现了 2 倍提升，F1 达到 0.66，而最佳先前方法仅为 0.33。
• 该模型在分类体系构建和祖先-F1 任务上均优于现有基线方法，表明其在多种评估指标下均具备稳健的泛化能力。
• 启用视觉特征（S-V1, PC-V1）带来显著性能提升，当使用全部视觉特征时，祖先-F1 分数从 0.42 提升至 0.52。
• 逐层权重自适应机制提升了性能，表明视觉特征在层级更深、更具体的层次上更具指示性，而文本特征在更高层、更抽象的层次上更为相关。
• 与 CNN-128 模型相比，VGG-16 卷积神经网络仅带来 0.01 的祖先-F1 分数提升，表明在此设置下更高维特征的收益递减。
• 定性分析表明，模型能正确预测大多数真实标签链接，并对误报和缺失链接提供合理解释，尤其当视觉与文本线索一致时表现更佳。