[论文解读] Automatic Concept Discovery from Parallel Text and Visual Corpora

Chen Sun, Chuang Gan+1 more|arXiv (Cornell University)|Sep 24, 2015

Advanced Image and Video Retrieval Techniques参考文献 39被引用 15

一句话总结

本文提出了一种视觉概念发现（VCD）框架，通过基于视觉判别能力过滤术语并利用视觉与语义相似性聚类，从平行的文本与图像语料库中自动识别出具有判别性且紧凑的视觉概念。该方法在双向图像-句子检索和图像标注的人工评估中均优于人工筛选的概念集（如ImageNet-1k），实现了最先进性能。

ABSTRACT

Humans connect language and vision to perceive the world. How to build a similar connection for computers? One possible way is via visual concepts, which are text terms that relate to visually discriminative entities. We propose an automatic visual concept discovery algorithm using parallel text and visual corpora; it filters text terms based on the visual discriminative power of the associated images, and groups them into concepts using visual and semantic similarities. We illustrate the applications of the discovered concepts using bidirectional image and sentence retrieval task and image tagging task, and show that the discovered concepts not only outperform several large sets of manually selected concepts significantly, but also achieves the state-of-the-art performance in the retrieval task.

研究动机与目标

• 解决人工选择视觉概念的局限性，后者往往无法捕捉视觉世界的复杂性且缺乏领域适应性。
• 开发一种自动框架，从平行的文本与图像语料库中发现视觉概念，确保其具有判别性与紧凑性。
• 通过双向图像-句子检索和人工评估的自由形式图像标注，评估所发现概念的质量。
• 证明自动发现的概念泛化能力更强，并优于大型人工筛选的概念集（如ImageNet-1k）。

提出的方法

• 从平行图文语料库中的文本描述中提取一元组和依存关系二元组。
• 使用其关联图像上的交叉验证平均精度（AP）对候选术语进行过滤，仅保留具有视觉判别性的术语。
• 利用图像表征的深度特征（如CNN特征）计算术语之间的视觉相似性。
• 利用词嵌入（如Word2Vec或GloVe）计算术语之间的语义相似性，以捕捉语言关系。
• 使用视觉与语义相似性得分的加权组合，将过滤后的术语聚类为视觉概念。
• 使用图像数据对所发现的概念训练分类器，并将其用于下游任务（如检索与标注）。

实验结果

研究问题

• RQ1 能否从平行的文本与图像语料库中自动发现视觉概念，以更好地反映人类对视觉实体的感知？
• RQ2 联合使用视觉与语义相似性在多大程度上提升了所发现视觉概念的质量与紧凑性？
• RQ3 自动发现的视觉概念是否在检索与标注任务中优于人工筛选的概念集（如ImageNet-1k）？
• RQ4 视觉相似性权重与概念数量对检索性能有何影响？
• RQ5 所发现的概念在未见数据集（如COCO）上的泛化能力如何？

主要发现

• 在双向图像-句子检索任务中，所发现的概念在召回率@5上达到64.1%，优于多个大型人工选择的概念集。
• 在人工评估的图像标注任务中，所发现的概念在64.1%的图像上优于ImageNet-1k，22.9%的图像被判断为更差，12.9%的图像评分相当。
• 概念发现框架的性能对视觉相似性权重λ和概念总数敏感，最优性能在中等概念数量下实现。
• 该框架成功识别出类人命名模式，避免了过度具体化（如细粒度的狗品种），并提升了对常见视觉实体的覆盖度。
• 在Flickr 8k上训练的概念在COCO上表现出良好的泛化能力，证明了其在不同数据集间的鲁棒性与可迁移性。
• 尽管未依赖联合嵌入学习，该方法在双向检索任务中仍实现了最先进性能，优于基于嵌入的方法。