[论文解读] A Benchmark for Structured Procedural Knowledge Extraction from Cooking Videos

Frank F. Xu, Lei Ji+5 more|arXiv (Cornell University)|May 2, 2020

Multimodal Machine Learning Applications参考文献 55被引用 4

一句话总结

本论文提出了一项用于从烹饪视频中提取结构化程序知识的基准，要求模型从多模态输入（视频和有噪声的字幕）生成动词-论元元组。尽管使用了最先进的动作检测和语义角色标注模型，性能仍然较低，凸显了在存在指代消解、省略和语音识别错误的情况下，将动作与真实世界程序进行对齐的挑战。

ABSTRACT

Watching instructional videos are often used to learn about procedures. Video captioning is one way of automatically collecting such knowledge. However, it provides only an indirect, overall evaluation of multimodal models with no finer-grained quantitative measure of what they have learned. We propose instead, a benchmark of structured procedural knowledge extracted from cooking videos. This work is complementary to existing tasks, but requires models to produce interpretable structured knowledge in the form of verb-argument tuples. Our manually annotated open-vocabulary resource includes 356 instructional cooking videos and 15,523 video clip/sentence-level annotations. Our analysis shows that the proposed task is challenging and standard modeling approaches like unsupervised segmentation, semantic role labeling, and visual action detection perform poorly when forced to predict every action of a procedure in a structured form.

研究动机与目标

• 为多模态教学视频缺乏大规模、开放词汇表、结构化的程序知识基准的问题提供解决方案。
• 构建一个数据集，以实现对模型从视频和字幕中提取程序步骤作为动词-论元元组的细粒度评估。
• 识别程序知识提取中的关键挑战，包括动词省略、语音识别错误以及视觉-语言指代消解。
• 评估当前模型在跨模态对齐动作方面的局限性，尤其是在字幕存在噪声或不完整的情况下。

提出的方法

• 该数据集包含356个烹饪视频，共15,523个句子级别的标注，由人工标注程序元组（动词，论元），并基于视频片段进行对齐。
• 采用流水线方法：首先通过多模态分割识别关键视频片段和句子，然后通过语义角色标注和视觉动作识别提取元组。
• 使用最先进的模型对字幕应用语义角色标注，以提取动词-论元结构。
• 使用在厨房视频上训练的视觉动作检测模型来检测动作和物体，随后与文本预测结果对齐。
• 评估模型预测完整程序元组的能力，包括处理空论元和指代消解。
• 该基准包含监督和无监督的分割基线，以评估不同监督水平下的性能。

实验结果

研究问题

• RQ1 现有模型在从带有噪声字幕的多模态烹饪视频中提取结构化程序知识（动词-论元元组）方面表现如何？
• RQ2 程序知识提取中的主要失败模式是什么，特别是关于动词省略和语音识别错误？
• RQ3 视觉和语言信号在多大程度上需要联合建模，才能准确地将动作与视频对齐？
• RQ4 指代消解和隐含论元如何影响当前模型在程序知识提取中的性能？
• RQ5 在教学视频弱监督下训练的多模态模型，能否泛化到开放词汇表的程序知识提取任务？

主要发现

• 标准的语义角色标注和视觉动作检测模型在被强制以结构化形式预测所有程序步骤时表现不佳，表明该任务极具挑战性。
• 动词省略是一个主要问题：由于缺乏上下文感知的动词选择，模型常错误识别主要动词（例如，将'flip'误选为'give'）。
• 语音转文字错误显著降低性能，常见错误如'flour'与'flower'，或'sriracha'与'sarrah cha'，导致论元提取错误。
• 当前基线中，指代消解和隐含论元仍未解决，缺乏对视觉-语言共指关系的显式建模。
• 所提出的基准揭示了当前模型在面对带有噪声的多样化真实世界视频字幕时无法泛化，凸显了改进跨模态对齐的必要性。
• 即使使用最先进的组件，性能仍远未达到最优，表明视觉与语言的联合建模对于鲁棒的程序知识提取至关重要。