[论文解读] Shuffle and Learn: Unsupervised Learning using Temporal Order Verification

Ishan Misra, C. Lawrence Zitnick+1 more|arXiv (Cornell University)|Mar 28, 2016

Human Pose and Action Recognition被引用 20

一句话总结

本文提出 Shuffle and Learn，一种无监督表示学习方法，通过训练卷积神经网络（CNN）来验证视频帧的时间顺序——判断打乱后的序列是否有效。该模型从无标签的原始视频中学习，捕捉到与运动和姿态相关的特征，在动作识别（UCF101、HMDB51）任务上达到最先进性能，并在姿态估计（FLIC、MPII）任务上取得具有竞争力的结果，甚至在某些基准上超越了监督预训练方法。

ABSTRACT

In this paper, we present an approach for learning a visual representation from the raw spatiotemporal signals in videos. Our representation is learned without supervision from semantic labels. We formulate our method as an unsupervised sequential verification task, i.e., we determine whether a sequence of frames from a video is in the correct temporal order. With this simple task and no semantic labels, we learn a powerful visual representation using a Convolutional Neural Network (CNN). The representation contains complementary information to that learned from supervised image datasets like ImageNet. Qualitative results show that our method captures information that is temporally varying, such as human pose. When used as pre-training for action recognition, our method gives significant gains over learning without external data on benchmark datasets like UCF101 and HMDB51. To demonstrate its sensitivity to human pose, we show results for pose estimation on the FLIC and MPII datasets that are competitive, or better than approaches using significantly more supervision. Our method can be combined with supervised representations to provide an additional boost in accuracy.

研究动机与目标

• 从无语义标注的原始视频中学习有意义的视觉表征。
• 探究利用时间顺序验证进行无监督学习是否能够捕捉运动与姿态信息。
• 评估此类无监督表征是否与监督预训练（如 ImageNet）互补。
• 在下游任务（如动作识别与人体姿态估计）中展示该方法的有效性。
• 探索时间顺序验证能否生成与大规模监督数据集相当或更优的表征。

提出的方法

• 将无监督学习形式化为二分类任务：预测视频帧序列是否按正确时间顺序排列。
• 使用卷积神经网络（CNN）从每帧提取特征，并分类序列为有效或打乱状态。
• 从随机初始化端到端训练 CNN，使用对比三元组：正样本（正确顺序）与负样本（打乱顺序）的帧序列。
• 将学习到的表征作为下游任务（如动作识别与关键点估计）的预训练方法。
• 将无监督表征与监督预训练（如 ImageNet）结合，以进一步提升性能。
• 采用标准训练协议，使用交叉熵损失和标准优化方法（如 AdaGrad）对下游数据集进行微调。

实验结果

研究问题

• RQ1 在无任何语义标签的情况下，视频中的时间顺序验证能否学习到有用的视觉表征？
• RQ2 所学习到的表征是否能捕捉到与运动和姿态相关的信息，如人体姿态构型？
• RQ3 在动作识别与姿态估计任务上，该无监督方法的性能与监督预训练（如 ImageNet）相比如何？
• RQ4 能否将无监督表征与监督表征结合以进一步提升准确率？
• RQ5 该表征是否对时间动态（如物体运动与人体姿态变化）敏感？

主要发现

• 所提出的无监督方法在 HMDB51 上实现 78.8% 的 top-1 准确率，在 UCF101 上实现 93.8% 的准确率，优于随机初始化，并与或超过部分监督基线方法。
• 在 FLIC 数据集上，该方法取得 84.7% 的 PCK 分数，比完全监督的 UCF101 预训练高出 7.6 个百分点。
• 在 MPII 数据集上，该方法取得 47.6% 的 PCKh@0.5 分数，超过监督的 UCF101 预训练 2.1 个百分点。
• 将无监督表征与 ImageNet 预训练结合后，在 MPII 上实现 49.5% 的 PCKh@0.5 分数，较仅使用 ImageNet 提升 2.3 分。
• 无监督表征与 ImageNet 表征具有互补性，可有效提升下游任务性能，即使与其他监督源结合亦能持续增益。
• 定性分析表明，模型学习到的表征对人类姿态与时间动态（如身体形变与运动模式）具有敏感性。