[论文解读] Memory Warps for Learning Long-Term Online Video Representations

Tuan-Hung Vu, Wongun Choi+2 more|arXiv (Cornell University)|Mar 28, 2018

Human Pose and Action Recognition参考文献 39被引用 14

一句话总结

本文提出 MemNet 和 ClockNet，这两种基于记忆的在线视频表征框架通过特征记忆的空间形变来建模运动，并实现在无需依赖未来帧情况下的长期时序建模。该方法在 ImageNet-VID 上实现了最先进精度，相比先前方法提速 2.3 倍，并支持预测性特征前瞻，使实时检测器的 mAP 提升超过 10%，且不增加延迟。

ABSTRACT

This paper proposes a novel memory-based online video representation that is efficient, accurate and predictive. This is in contrast to prior works that often rely on computationally heavy 3D convolutions, ignore actual motion when aligning features over time, or operate in an off-line mode to utilize future frames. In particular, our memory (i) holds the feature representation, (ii) is spatially warped over time to compensate for observer and scene motions, (iii) can carry long-term information, and (iv) enables predicting feature representations in future frames. By exploring a variant that operates at multiple temporal scales, we efficiently learn across even longer time horizons. We apply our online framework to object detection in videos, obtaining a large 2.3 times speed-up and losing only 0.9% mAP on ImageNet-VID dataset, compared to prior works that even use future frames. Finally, we demonstrate the predictive property of our representation in two novel detection setups, where features are propagated over time to (i) significantly enhance a real-time detector by more than 10% mAP in a multi-threaded online setup and to (ii) anticipate objects in future frames.

研究动机与目标

• 开发一种高效、准确且具备预测能力的在线视频表征方法，利用长期时序上下文，且不依赖未来帧。
• 解决 3D 卷积和非因果特征聚合在视频表征学习中的局限性。
• 通过形变记忆传播和特征前瞻，实现在在线视频处理中的预测能力。
• 通过记忆形变融合来自较慢、更强检测器的表征，提升实时目标检测性能。
• 设计一种多尺度架构，以高效聚合跨越长时间跨度的信息。

提出的方法

• 提出 MemNet，一种维护特征表征记忆的网络，通过位移场在帧间进行空间形变，以补偿相机和物体运动。
• 每帧仅进行一次形变计算，以对齐记忆特征与当前帧，相比先前方法的逐帧形变，显著降低计算成本。
• 提出 ClockNet，一种分层架构，可在多个时间尺度上运行，以高效聚合长程时序信息。
• 通过简单平均或可学习加权方式，结合新图像特征与形变记忆特征，实现自适应特征聚合。
• 利用预训练的 FlowNet 进行位移场估计，并与目标检测器联合微调，以提升运动对齐效果。
• 在在线、因果设置下应用基于记忆的表征于目标检测，实现特征传播与前瞻。

实验结果

研究问题

• RQ1 基于记忆的视频表征是否能在在线视频处理中高效且因果地学习长期时序依赖？
• RQ2 对记忆特征进行空间形变如何提升准确率，并增强对运动、遮挡和外观变化的鲁棒性？
• RQ3 记忆表征是否能实现预测能力，如前瞻未来特征或增强实时检测器？
• RQ4 ClockNet 中的多尺度时序聚合相比单尺度记忆网络如何提升性能？
• RQ5 在速度与准确率方面，记忆形变方法在多大程度上优于非因果或基于 3D 卷积的方法？

主要发现

• 所提出的 MemNet 在 ImageNet-VID 上相比先前最先进方法 FGFA 实现 2.3 倍提速，同时保持相近精度，mAP 仅下降 0.9%。
• ClockNet 在 ImageNet-VID 上相比逐帧 R-FCN 基线实现 2.2% mAP 提升，准确率甚至超过非因果的 FGFA，且运行时间更低。
• 基于记忆的框架通过记忆形变融合来自较慢检测器的特征，在实时检测中实现 10.3% mAP 提升，且无延迟代价。
• ClockNet 在特征前瞻方面表现出更优效率，在较长前瞻长度（δ > 10 帧）下仍保持高性能，优于 MemNet 在此任务中的表现。
• 消融实验表明，简单平均记忆与输入特征的聚合方式与复杂自适应加权方案性能相当，表明对聚合设计具有鲁棒性。
• 与检测器联合微调 FlowNet 可提升运动估计质量，生成更连贯、完整物体的运动场，从而增强特征对齐效果。