[论文解读] Mining YouTube - A dataset for learning fine-grained action concepts from webly supervised video data

Hilde Kuehne, Ahsan Iqbal+2 more|arXiv (Cornell University)|Jun 3, 2019

Human Pose and Action Recognition参考文献 35被引用 11

一句话总结

该论文通过基于字幕的弱监督自动挖掘YouTube视频，提出了一种大规模、网页弱监督的细粒度动作识别数据集，避免了人工标注。该方法提出了一种语义层次结构以解决噪声数据中的类别模糊性问题，结果表明，层次化推理在20万样本数据集上使IoU提升超过3.5%，IoD提升12%。

ABSTRACT

Action recognition is so far mainly focusing on the problem of classification of hand selected preclipped actions and reaching impressive results in this field. But with the performance even ceiling on current datasets, it also appears that the next steps in the field will have to go beyond this fully supervised classification. One way to overcome those problems is to move towards less restricted scenarios. In this context we present a large-scale real-world dataset designed to evaluate learning techniques for human action recognition beyond hand-crafted datasets. To this end we put the process of collecting data on its feet again and start with the annotation of a test set of 250 cooking videos. The training data is then gathered by searching for the respective annotated classes within the subtitles of freely available videos. The uniqueness of the dataset is attributed to the fact that the whole process of collecting the data and training does not involve any human intervention. To address the problem of semantic inconsistencies that arise with this kind of training data, we further propose a semantical hierarchical structure for the mined classes.

研究动机与目标

• 为解决全监督动作识别数据集的局限性，即其构建成本高且难以扩展至真实世界应用。
• 实现在无需人工标注片段或时间边界的情况下，自动实现大规模数据收集。
• 建模细粒度动作类别之间的语义关系，以缓解网络挖掘数据中的噪声与模糊性。
• 评估层次化推理在弱监督、真实世界视频数据上的识别性能提升效果。

提出的方法

• 首先人工标注250段烹饪视频，涵盖512个细粒度动作类别，共获得10,412个样本。
• 通过在YouTube字幕中搜索类别名称，自动挖掘训练数据，共获得约20万段剪辑，来自21,056段视频。
• 在512个动作类别上构建语义层次树，以通用动作（如“chop it”）作为内部节点，具体动作（如“chop tomato”）作为叶节点。
• 采用共识概率进行层次化推理：自顶向下（父节点响应基于子节点）和自底向上（子节点响应基于父节点），融合策略提升鲁棒性。
• 使用深度学习模型（如MLP）在挖掘数据上进行训练，并在固定250段视频的测试集上进行评估。
• 通过IoU和IoD衡量时序动作定位性能，并对数据规模和推理策略进行消融实验。

实验结果

研究问题

• RQ1 能否有效利用YouTube字幕挖掘的弱监督网页视频数据来训练细粒度动作识别模型？
• RQ2 在存在噪声和模糊性的训练数据中，动作类别上的语义层次结构如何影响模型性能？
• RQ3 尽管噪声水平高，增加网络挖掘训练数据的规模是否仍能提升识别性能？
• RQ4 不同层次化推理策略（自顶向下、自底向上、联合使用）在定位准确率上的表现如何比较？

主要发现

• 在20万条网络挖掘样本（尽管存在噪声和模糊性）上进行训练，相比10万样本，平均IoU仍提升超过2%，证明即使存在噪声，数据规模仍具显著优势。
• 结合自顶向下与自底向上共识的层次化推理策略，相比标准推理，IoU提升3.5%，IoD提升12%，显著增强了模型鲁棒性。
• 联合使用自顶向下与自底向上推理策略时性能最佳，表明多层级一致性可显著提升噪声环境下的定位能力。
• 语义层次结构有效缓解了同音词和多义词等语义不一致问题，提升了模型泛化能力。
• 该数据集使无需人工标注片段即可在真实世界、未经筛选的视频数据上进行训练成为可能，验证了大规模动作学习的可行性。
• 即使采用最先进特征与网络架构，该数据集仍极具挑战性，凸显真实世界弱监督动作识别任务的难度。