[论文解读] ECO: Efficient Convolutional Network for Online Video Understanding

Mohammadreza Zolfaghari, Kamaljeet Singh+1 more|arXiv (Cornell University)|Apr 24, 2018

Human Pose and Action Recognition被引用 19

一句话总结

ECO 提出了一种高效的双流3D卷积神经网络架构，通过在关键帧上结合稀疏2D卷积与在时间采样帧上应用3D卷积，捕捉长时程视频上下文。通过仅采样25%-50%的帧并进行早期特征融合，ECO在动作识别和视频字幕生成任务中实现了最先进（SOTA）的准确率，同时将视频处理速度提升至最高230 FPS——比之前的方法快10至80倍。

ABSTRACT

The state of the art in video understanding suffers from two problems: (1) The major part of reasoning is performed locally in the video, therefore, it misses important relationships within actions that span several seconds. (2) While there are local methods with fast per-frame processing, the processing of the whole video is not efficient and hampers fast video retrieval or online classification of long-term activities. In this paper, we introduce a network architecture that takes long-term content into account and enables fast per-video processing at the same time. The architecture is based on merging long-term content already in the network rather than in a post-hoc fusion. Together with a sampling strategy, which exploits that neighboring frames are largely redundant, this yields high-quality action classification and video captioning at up to 230 videos per second, where each video can consist of a few hundred frames. The approach achieves competitive performance across all datasets while being 10x to 80x faster than state-of-the-art methods.

研究动机与目标

• 解决3D CNN在处理长视频时因计算成本过高而导致的效率低下问题。
• 克服基于窗口的方法在有效整合长期时间上下文方面存在的局限性。
• 通过结合快速逐帧推理与长时程上下文建模，实现实时、在线的视频理解。
• 通过利用帧冗余性和早期特征融合，在计算开销极小的前提下实现具有竞争力的性能。
• 支持离线视频分类与在线动作识别，并实现预测精度的渐进式提升。

提出的方法

• 使用2D CNN从每个时间片段的代表性单帧中提取外观特征，以减少冗余。
• 对时间采样的帧应用3D CNN，以建模相距较远帧之间的长期时间依赖性。
• 实施一种增量采样策略，通过将50%的新帧与50%先前存储的采样帧结合，优先保留近期帧。
• 通过将3D处理后的特征输入2D分支实现早期特征融合，从而实现空间与时间表征的联合优化。
• 使用动态采样队列（QF）和帧存储（SF）在最小化内存使用的同时保持时间重要性。
• 通过在多个采样窗口上进行分数平均，提升模型的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 混合2D-3D CNN架构是否能在保持实时推理速度的同时实现高精度的视频理解？
• RQ2 对帧进行稀疏采样在长视频理解任务中的性能影响如何？
• RQ3 在长期动作识别中，2D与3D特征的早期融合是否优于事后分数融合？
• RQ4 随着更多帧被观察，通过逐步优化预测，能多大程度上提升在线视频理解的性能？
• RQ5 与密集采样或均匀采样相比，所提出的采样策略在准确率与效率方面表现如何？

主要发现

• ECO可实现最高每秒230帧的视频处理速度，在最先进方法的基础上实现10至80倍的速度提升。
• 在UCF101数据集上，ECO使用24帧采样达到93.3%的准确率，即使仅使用8帧也保持超过92%的准确率。
• 在HMDB51数据集上，ECO使用32帧采样达到69.48%的准确率，性能优于具有相似推理速度的先前方法。
• 在在线动作识别中，ECO在仅观察到视频20%内容后即达到超过90%的准确率，展现出强大的早期预测能力。
• 在视频字幕生成任务中，ECO生成的字幕比SCN更准确，且在视觉内容上的定位更精准（例如：'piano' vs. 'keyboard'，'bicycle' vs. 'scooter'）。
• 该方法在不同长度的视频上均保持高性能，其中稀疏采样在短视频中更有效，而密集采样在长视频中表现更优。