[论文解读] MemexQA: Visual Memex Question Answering

Lu Jiang, Junwei Liang+4 more|arXiv (Cornell University)|Aug 4, 2017

Multimodal Machine Learning Applications参考文献 29被引用 23

一句话总结

本文提出了 MemexQA，一种新颖的多模态问答任务，专注于帮助用户从个人照片和视频收藏中恢复记忆。该研究提出 MemexNet，一种统一的、端到端可训练的神经网络，整合了跨多个媒体项目的视觉、文本和时间线索，在 MemexQA 数据集上实现了最先进性能，并在 TextQA 和 VideoQA 任务上展示了良好的可扩展性。

ABSTRACT

This paper proposes a new task, MemexQA: given a collection of photos or videos from a user, the goal is to automatically answer questions that help users recover their memory about events captured in the collection. Towards solving the task, we 1) present the MemexQA dataset, a large, realistic multimodal dataset consisting of real personal photos and crowd-sourced questions/answers, 2) propose MemexNet, a unified, end-to-end trainable network architecture for image, text and video question answering. Experimental results on the MemexQA dataset demonstrate that MemexNet outperforms strong baselines and yields the state-of-the-art on this novel and challenging task. The promising results on TextQA and VideoQA suggest MemexNet's efficacy and scalability across various QA tasks.

研究动机与目标

• 解决帮助用户从大规模、非结构化的个人照片和视频收藏中回忆个人事件的挑战。
• 构建一个真实、大规模的多模态数据集，用于基于记忆的问答任务，超越单张图像 VQA 的范畴。
• 设计一种统一的深度学习架构，能够对媒体收藏进行集体性与跨模态推理。
• 实现在动态、用户特定媒体存储库上的可扩展、端到端可训练问答系统。
• 评估模型在多样化问答任务（包括文本问答和视频问答）上的泛化能力。

提出的方法

• 作者通过众包方式，在 630 位 Flickr 用户的 101 个图册中收集了 13,591 张个人照片，生成了 20,860 个问题-答案对，构建了 MemexQA 数据集。
• 提出 MemexNet，一种统一的神经网络，能够从图像、视频和元数据中联合学习视觉、文本和时间表征。
• MemexNet 采用模块化架构，包含 MMLookupNet 组件，可根据查询嵌入检索相关媒体片段，实现对多张图像的集体推理。
• 模型使用现成的图像和视频编码器，并结合可学习的注意力机制实现跨模态融合与答案预测。
• 训练过程中，网络通过问题类型联合损失进行端到端优化，配备可配置的输出头以支持不同答案类型（谁、什么、何时、何地、如何）。
• 该框架在 MemexQA、TextQA（SQuAD）和 VideoQA（YFCC100M）上进行评估，展示了良好的迁移能力与可扩展性。

实验结果

研究问题

• RQ1 统一的深度学习模型是否能有效在多张个人照片和视频上执行集体推理，以回答复杂的基于记忆的问题？
• RQ2 多模态网络在整合视觉、文本和时间信号方面表现如何，能否有效回答需要跨媒体理解的问题？
• RQ3 与简单的嵌入平均方法相比，所提出的 MMLookupNet 组件在多模态问答中性能提升的幅度有多大？
• RQ4 MemexNet 是否能在极少微调的情况下泛化到其他问答任务，如基于文本和基于视频的问答？
• RQ5 随着媒体收藏规模的增加，模型性能如何变化？其在真实场景下的推理效率如何？

主要发现

• MemexNet 在 MemexQA 数据集上实现了 48.4% 的最先进整体准确率，显著优于强基线模型，如带注意力机制的 LSTM（43.3%）和 BoW（29.0%）。
• 消融实验表明，若移除 MMLookupNet，性能显著下降，尤其在 '什么' 和 '何时' 问题上，证实其在选择性检索与集体推理中的关键作用。
• 在 SQuAD TextQA 基准测试中，MemexNet 实现了 0.767 的 F1 分数，与近期模型（如 BiDAF 的 0.760）相当或更优，尽管未在该数据集上进行微调训练。
• 在 YFCC100M 的 80 万张视频大规模 VideoQA 任务中，MemexNet 平均每个查询仅需 1.3 秒即可在单个 CPU 核上完成推理，展现出强大的可扩展性。
• 对 25 个视频问题的人工评估显示，模型估计准确率为 52%，表明尽管缺乏真实标注，模型在真实世界视频问答任务中仍表现合理。
• 人工标注者（在完整上下文支持下）准确率达 92.7%，而模型仅为 48.4%，凸显了 MemexQA 任务的显著挑战性。