[论文解读] Building a Large-scale Multimodal Knowledge Base System for Answering Visual Queries

Yuke Zhu, Ce Zhang+2 more|arXiv (Cornell University)|Jul 20, 2015

Multimodal Machine Learning Applications参考文献 55被引用 45

一句话总结

本文提出了一种可扩展的多模态知识库（KB）框架，通过将视觉、文本和结构化数据建模为联合概率图模型，无需为每项新任务微调分类器，即可回答多样化的视觉查询——如复杂场景理解与图像检索。该系统利用大规模马尔可夫随机场（MRF）表示，在数小时内处理五亿个变量，结合一阶推理与数据库优化技术，在识别与检索任务中实现了具有竞争力的性能。

ABSTRACT

The complexity of the visual world creates significant challenges for comprehensive visual understanding. In spite of recent successes in visual recognition, today's vision systems would still struggle to deal with visual queries that require a deeper reasoning. We propose a knowledge base (KB) framework to handle an assortment of visual queries, without the need to train new classifiers for new tasks. Building such a large-scale multimodal KB presents a major challenge of scalability. We cast a large-scale MRF into a KB representation, incorporating visual, textual and structured data, as well as their diverse relations. We introduce a scalable knowledge base construction system that is capable of building a KB with half billion variables and millions of parameters in a few hours. Our system achieves competitive results compared to purpose-built models on standard recognition and retrieval tasks, while exhibiting greater flexibility in answering richer visual queries.

研究动机与目标

• 在无需为每项新任务微调分类器的前提下，实现对多样化异构查询的灵活、通用的视觉理解。
• 解决构建大规模多模态知识库的可扩展性挑战，该知识库需整合具有丰富关系依赖的视觉、文本和结构化数据。
• 开发一种系统，能够在包含离散与连续变量的大规模多模态数据集上实现联合学习与推理。
• 证明统一的KB框架可在标准视觉基准测试中达到或超越专用模型的性能，同时支持复杂推理。

提出的方法

• 将视觉、文本和结构化数据表示为包含混合离散与连续变量的大规模马尔可夫随机场（MRF）。
• 将视觉查询编码为逻辑形式，映射到KB上的概率查询，通过边缘概率计算实现联合推理。
• 利用数据库技术与高速采样方法，将推理扩展至五亿个变量与四百万参数。
• 采用一阶概率推理方法降低计算复杂度，实现在大规模数据上的高效学习。
• 使用联合MRF模型捕捉从SUN数据集中学习到的场景类别、属性与可及性之间的复杂关系。
• 应用因子权重建模实体间的相关性，强正/负关系由数据学习得出（例如：'beach' ↔ 'sunny'，'railroad track' ↔ 'negative' 关系）。

实验结果

研究问题

• RQ1 统一的知识库框架是否能够在不微调分类器的前提下，回答从简单图像搜索到复杂推理的多样化视觉查询？
• RQ2 如何高效构建大规模多模态KB，以支持对混合离散与连续视觉及文本数据的联合学习与推理？
• RQ3 概率KB模型在标准视觉识别与检索任务中，能在多大程度上超越或匹配专用模型的性能？
• RQ4 属性、可及性与场景类别之间的关系依赖如何涌现，并在复杂查询推理中发挥作用？

主要发现

• 与专用模型相比，该系统在标准识别与检索任务中实现了具有竞争力的性能，尤其在低排名检索结果中表现更优。
• 在图像检索任务中，KB模型在k > 5时保持稳定的平均精度，且随着检索排名上升，其性能持续优于最近邻基线（NNall与NNmean）。
• 通过利用关系知识，该模型对噪声或弱视觉信号表现出鲁棒性，显著降低了低排名检索中的误报率。
• 所学习的KB捕捉到了强而可解释的关系：例如，'railroad track'与'mountain snowy'之间存在强烈的负相关性（权重-3.86），而'beach'与'sunny'则有强关联性（权重5.65）。
• 该系统仅用数小时即构建了包含五亿变量与四百万参数的KB，规模比先前工作（Zhu et al., 2014）大四个数量级，且训练时间减半。
• 定性结果表明，该模型能够成功联合推断多个标签（属性与可及性），在视觉示例的6张测试图像中正确预测了4张。