[论文解读] Learning and Verification of Task Structure in Instructional Videos

Medhini Narasimhan, Licheng Yu+3 more|arXiv (Cornell University)|Mar 23, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出 VideoTaskformer，一种通过利用全局任务上下文对视频中的步骤进行掩码和预测来学习教学视频中上下文化步骤表征的视频模型。该模型在下游任务中实现了最先进性能，尤其在错误检测和长期预测任务中表现突出，并引入了三个新的基准用于评估视频中任务结构的理解能力。

ABSTRACT

Given the enormous number of instructional videos available online, learning a diverse array of multi-step task models from videos is an appealing goal. We introduce a new pre-trained video model, VideoTaskformer, focused on representing the semantics and structure of instructional videos. We pre-train VideoTaskformer using a simple and effective objective: predicting weakly supervised textual labels for steps that are randomly masked out from an instructional video (masked step modeling). Compared to prior work which learns step representations locally, our approach involves learning them globally, leveraging video of the entire surrounding task as context. From these learned representations, we can verify if an unseen video correctly executes a given task, as well as forecast which steps are likely to be taken after a given step. We introduce two new benchmarks for detecting mistakes in instructional videos, to verify if there is an anomalous step and if steps are executed in the right order. We also introduce a long-term forecasting benchmark, where the goal is to predict long-range future steps from a given step. Our method outperforms previous baselines on these tasks, and we believe the tasks will be a valuable way for the community to measure the quality of step representations. Additionally, we evaluate VideoTaskformer on 3 existing benchmarks -- procedural activity recognition, step classification, and step forecasting -- and demonstrate on each that our method outperforms existing baselines and achieves new state-of-the-art performance.

研究动机与目标

• 学习教学视频中的步骤表征，以捕捉全局任务结构而非局部片段级语义。
• 实现对视频是否正确执行任务的验证，包括检测错误步骤和错误的步骤顺序。
• 从视频中给定的某个点预测长期未来的步骤，优于以往的短期预测方法。
• 引入新基准以评估教学视频中步骤表征的质量。
• 证明全局上下文感知表征在多个下游任务中优于局部、片段独立的方法。

提出的方法

• 使用掩码步骤建模目标对 VideoTaskformer 进行预训练，即随机掩码视频中的某些步骤，模型根据剩余步骤的视觉特征预测其标签。
• 采用基于 Transformer 的架构，联合编码视频中的所有步骤，实现对整个任务的上下文理解。
• 利用预训练模型（如 TimeSformer、S3D）的视频特征，并在下游任务上端到端微调整个网络。
• 将任务标签（如“安装吊扇”）作为输入嵌入，以提升在错误检测和长期预测等挑战性任务上的性能。
• 评估线性探测和完整微调两种设置，以评估学习表征的迁移能力。
• 通过将 COIN 数据集中的步骤替换为相似步骤或重新排序，合成错误检测数据集。

Figure 1: Prior work [ 13 , 12 ] learns step representations from single short video clips, independent of the task, thus lacking knowledge of task structure. Our model, VideoTaskformer, learns step representations for masked video steps through the global context of all surrounding steps in the vid

实验结果

研究问题

• RQ1 与局部片段级建模相比，利用全局视频上下文对步骤进行掩码建模是否能提升教学视频中步骤表征的学习效果？
• RQ2 学习到的表征是否能同时检测教学视频中的错误步骤和错误的步骤顺序？
• RQ3 该模型从任务中的某个步骤预测长期未来步骤的能力如何？
• RQ4 在错误检测和预测等下游任务中，引入任务级标签是否能提升性能？
• RQ5 这些表征在现有基准（如程序化活动识别、步骤分类和步骤预测）上的迁移程度如何？

主要发现

• 在长期预测任务中，VideoTaskformer 相较最佳基线模型性能提升 5%，证明其在预测遥远未来步骤方面具有强大的泛化能力。
• 在错误步骤检测任务上提升 4%，在错误顺序检测任务上也提升 4%，在这些新型基准上优于先前方法。
• 在程序化活动识别任务中，VideoTaskformer 相较最佳现有基线模型性能提升 1%，其中分布匹配损失略优于步骤分类损失。
• 线性探测评估显示性能具有竞争力，表明预训练表征在下游任务中具有高度可迁移性。
• 在所有三个新基准上，引入任务标签均显著提升性能，凸显高层任务上下文的价值。
• 定性结果表明，VideoTaskformer 能够正确识别错误步骤并预测与真实情况匹配的未来步骤，而基线方法 LwDS 在复杂结构推理任务上表现失败。

Figure 2: VideoTaskformer Pre-training (Left). VideoTaskformer $f_{\text{VT}}$ learns step representations for the masked out video clip $v_{i}$ , while attending to the other clips in the video. It consists of a video encoder $f_{\text{vid}}$ , a step transformer $f_{\text{trans}}$ , and a linear l