[论文解读] COIN: A Large-scale Dataset for Comprehensive Instructional Video Analysis

Yansong Tang, Dajun Ding+6 more|arXiv (Cornell University)|Mar 7, 2019

Human Pose and Action Recognition参考文献 37被引用 14

一句话总结

本文提出了COIN，一个大规模、分层的指令视频数据集，涵盖12个日常生活领域中的180项任务，共11,827段教学视频，每段视频均配有步骤描述和时间边界标注。该研究提出了一种任务一致性方法，通过利用任务级别的上下文信息来提升步骤定位性能，在动作检测基准测试中表现显著提升，mAP在COIN上达到8.12，高于Breakfast数据集的15.84和THUMOS14数据集的29.10。

ABSTRACT

There are substantial instructional videos on the Internet, which enables us to acquire knowledge for completing various tasks. However, most existing datasets for instructional video analysis have the limitations in diversity and scale,which makes them far from many real-world applications where more diverse activities occur. Moreover, it still remains a great challenge to organize and harness such data. To address these problems, we introduce a large-scale dataset called "COIN" for COmprehensive INstructional video analysis. Organized with a hierarchical structure, the COIN dataset contains 11,827 videos of 180 tasks in 12 domains (e.g., vehicles, gadgets, etc.) related to our daily life. With a new developed toolbox, all the videos are annotated effectively with a series of step descriptions and the corresponding temporal boundaries. Furthermore, we propose a simple yet effective method to capture the dependencies among different steps, which can be easily plugged into conventional proposal-based action detection methods for localizing important steps in instructional videos. In order to provide a benchmark for instructional video analysis, we evaluate plenty of approaches on the COIN dataset under different evaluation criteria. We expect the introduction of the COIN dataset will promote the future in-depth research on instructional video analysis for the community.

研究动机与目标

• 为解决现有大规模、多样化教学视频数据集的不足，特别是涵盖烹饪之外的真实世界任务。
• 通过三级分层结构（领域、任务、步骤）实现对教学视频的全面分析。
• 开发一种高效的标注工具箱，相比传统视频模式标注，将标注时间减少73.2%。
• 利用多样化的真实世界教学视频建立步骤定位与动作检测的基准。
• 提出一种任务一致性方法，通过建模任务级别上下文中的步骤依赖关系，提升步骤定位性能。

提出的方法

• COIN数据集采用分层分类体系：12个领域（如交通工具、小工具）、180项任务，以及46,354个带有时间边界的步骤标注。
• 提出一种新型帧模式标注工具箱，将标注时间减少至视频模式的26.8%，实现大规模标注的高效化。
• 任务一致性方法采用自底向上的策略，从提案得分预测任务标签，再通过自顶向下的优化提升步骤定位精度。
• 通过超参数α将任务级别预测与步骤提案进行融合，集成到传统基于提案的动作检测模型（如SSN）中。
• 通过过滤与预测任务不一致的提案，利用步骤间的内在依赖关系，提升定位的鲁棒性。
• 在视频分类和动作检测任务中，基于mAP和准确率等多种评估标准进行实验。

实验结果

研究问题

• RQ1 最先进动作检测模型在大规模、多样化教学视频数据集（如COIN）上的性能表现如何？
• RQ2 建模任务级别上下文在多大程度上能改善教学视频中单个步骤的定位性能？
• RQ3 所提出的标注工具箱在效率和可扩展性方面与传统视频模式标注相比如何？
• RQ4 领域多样性与视觉相似性对步骤定位性能有何影响？
• RQ5 任务一致性方法如何在不同任务中减少步骤定位的误报？

主要发现

• COIN数据集包含11,827段视频，覆盖180项任务和12个领域，拥有46,354个步骤级标注及时间边界，显著扩展了现有教学视频基准的规模与多样性。
• 所提出的标注工具箱将平均标注时间减少73.2%，从视频模式的88.30分钟降至帧模式的23.43分钟（25段视频），展现出高效性。
• 任务一致性方法在COIN上的步骤定位mAP提升至8.12，优于基线方法，并在多样化领域中表现出强鲁棒性。
• 视觉差异较大的任务（如吹糖、玩冰壶）mAP超过15%，而视觉相似度高的任务（如制肥皂、调节手表带）mAP低于10%，证实视觉相似性是主要挑战。
• YouTube上播放量最高的任务“制作法国 fries”已播放1.7×10⁸次，验证了所选任务的真实世界相关性与实用价值。
• 在COIN上的视频分类准确率达到88.02%，显著高于较小基准如Breakfast（15.84 mAP），表明该数据集具有更高的复杂性与代表性。