[论文解读] RecipeQA: A Challenge Dataset for Multimodal Comprehension of Cooking Recipes

Semih Yagcioglu, Aykut Erdem+2 more|arXiv (Cornell University)|Sep 4, 2018

Topic Modeling参考文献 35被引用 10

一句话总结

RecipeQA 引入了一个大规模、多模态的数据集，包含 20,000 份烹饪食谱，配有对齐的图像和 36,786 个问答对，用于评估机器对程序性文本的理解能力。该数据集强调在多个步骤中对文本和图像进行联合理解，需要对时间流程和程序性知识进行推理，是多模态推理系统的一个具有挑战性的基准。

ABSTRACT

Understanding and reasoning about cooking recipes is a fruitful research direction towards enabling machines to interpret procedural text. In this work, we introduce RecipeQA, a dataset for multimodal comprehension of cooking recipes. It comprises of approximately 20K instructional recipes with multiple modalities such as titles, descriptions and aligned set of images. With over 36K automatically generated question-answer pairs, we design a set of comprehension and reasoning tasks that require joint understanding of images and text, capturing the temporal flow of events and making sense of procedural knowledge. Our preliminary results indicate that RecipeQA will serve as a challenging test bed and an ideal benchmark for evaluating machine comprehension systems. The data and leaderboard are available at http://hucvl.github.io/recipeqa.

研究动机与目标

• 为解决在真实、非受限环境中缺乏大规模、多模态数据集以聚焦于程序性理解的问题。
• 支持在逐步说明中对文本和图像进行联合理解的研究，特别是针对烹饪食谱。
• 提供一个评估模型在说明性内容中跨时间步骤和多模态对齐能力的基准。
• 支持开发能够推理程序性知识（包括动作序列和食材转化）的模型。
• 创建一个公开可获取的资源，并提供排行榜，以促进多模态机器理解的发展。

提出的方法

• 收集约 20,000 份真实世界中的烹饪食谱，包含用户在非受限环境中拍摄的自然图像。
• 将每个食谱步骤与一个或多个对应的图像对齐，确保细粒度的模态对齐。
• 使用基于食谱文本和图像内容的自动化模板，生成超过 36,000 个问答对。
• 设计四种不同的问题类型——文本完形填空、视觉完形填空、跨度选择和多项选择，每种类型针对特定的理解能力。
• 结合基于规则和自然语言处理的技术，生成需要跨文本和图像模态进行推理的问题。
• 在 http://hucvl.github.io/recipeqa 提供公开排行榜和数据集，以鼓励可复现的评估和模型开发。

实验结果

研究问题

• RQ1 多模态模型能否有效利用文本和图像理解烹饪食谱中动作的时间流程？
• RQ2 现有模型在涉及图像时，对程序性说明的联合理解能力表现如何？
• RQ3 与人类水平的推理相比，依赖词汇重叠或表面线索的模型在 RecipeQA 上的失败程度如何？
• RQ4 在食谱的多个步骤中，对齐多模态输入（文本和图像）的关键挑战是什么？
• RQ5 与合成或示意图图像相比，使用来自非受限环境中的真实用户拍摄图像如何影响模型的泛化能力？

主要发现

• RecipeQA 是首个聚焦于使用自然图像和多步骤的烹饪食谱中程序性知识多模态理解的数据集。
• 平均每份食谱包含 12 张图像，显著多于 TQA（每道题 3.5 张图像），增加了多模态对齐的复杂性。
• 基线模型与人类表现之间存在显著的性能差距，表明该数据集具有较高的挑战性。
• 该数据集支持多种问题类型，包括文本完形填空和视觉完形填空，这些类型需要超越词汇匹配的推理能力。
• 包含真实世界用户拍摄的图像引入了领域偏移和视觉多样性，使得泛化难度高于合成或示意图数据集。
• 该数据集公开提供，并设有排行榜，支持在多模态推理领域持续进行基准测试和模型评估。