[论文解读] Learning a Condensed Frame for Memory-Efficient Video Class-Incremental Learning

Yixuan Pei, Zhiwu Qing+7 more|arXiv (Cornell University)|Nov 2, 2022

Human Pose and Action Recognition被引用 12

一句话总结

FrameMaker 提出了一种内存高效的视频类别增量学习方法，通过将多帧视频压缩为每段视频一个代表性帧，显著降低内存使用量，同时保持性能。它引入了实例特定提示（Instance-Specific Prompt）以恢复丢失的时空细节，在 HMDB51、UCF101 和 Something-Something V2 数据集上仅使用先前方法 20% 的内存，即达到最先进性能。

ABSTRACT

Recent incremental learning for action recognition usually stores representative videos to mitigate catastrophic forgetting. However, only a few bulky videos can be stored due to the limited memory. To address this problem, we propose FrameMaker, a memory-efficient video class-incremental learning approach that learns to produce a condensed frame for each selected video. Specifically, FrameMaker is mainly composed of two crucial components: Frame Condensing and Instance-Specific Prompt. The former is to reduce the memory cost by preserving only one condensed frame instead of the whole video, while the latter aims to compensate the lost spatio-temporal details in the Frame Condensing stage. By this means, FrameMaker enables a remarkable reduction in memory but keep enough information that can be applied to following incremental tasks. Experimental results on multiple challenging benchmarks, i.e., HMDB51, UCF101 and Something-Something V2, demonstrate that FrameMaker can achieve better performance to recent advanced methods while consuming only 20% memory. Additionally, under the same memory consumption conditions, FrameMaker significantly outperforms existing state-of-the-arts by a convincing margin.

研究动机与目标

• 解决在视频类别增量学习中存储每段视频多帧所导致的高内存开销问题。
• 在不牺牲识别准确率的前提下，降低样本记忆的开销。
• 补偿因帧压缩导致的时空信息损失。
• 实现在内存受限环境下的增量视频学习的实用化部署。
• 证明在内存约束下，单个压缩帧配合可学习提示可超越多帧样本表示的性能。

提出的方法

• 帧压缩（Frame Condensing）为每段视频学习一组可微分的权重，通过加权求和将多帧融合为单个压缩帧。
• 通过对比损失（contrastive loss）优化压缩帧，使其在特征嵌入上匹配原始视频片段的表示。
• 实例特定提示（Instance-Specific Prompt）引入一个可学习的、每帧对应的参数向量，对压缩帧进行像素级精细化处理。
• 提示与压缩模块端到端联合训练，以恢复细粒度的时空细节。
• 该方法采用双分支网络结构：一个用于特征提取，另一个用于基于提示的特征精炼。
• 通过每段视频仅存储一个压缩帧，取代多帧存储，实现内存效率提升。

实验结果

研究问题

• RQ1 单个压缩帧是否足以保留足够的时空信息，以实现类别增量学习中的准确动作识别？
• RQ2 实例特定提示是否能有效恢复帧压缩过程中损失的信息？
• RQ3 在保持或提升性能的前提下，内存消耗最多可降低多少？
• RQ4 在相同内存预算下，该方法与多帧样本存储相比表现如何？
• RQ5 该模型在具有不同时间与空间动态特性的多样化动作类别上是否具备良好的泛化能力？

主要发现

• FrameMaker 将内存消耗降低至先前最先进方法的 20%，同时在 HMDB51、UCF101 和 Something-Something V2 上实现更优的准确率。
• 在 UCF101 上，FrameMaker 以 1.2MB 内存达到 85.6% 的准确率，优于 TCD 方法（6.0MB）的 1.4% 准确率提升，且在相同内存预算下表现更优。
• 与仅使用帧压缩相比，实例特定提示在 'Hug' 和 'CliffDiving' 等复杂动作上性能提升最高达 3.2%。
• 任务分析显示，提示精炼在后期增量学习任务中带来最大性能增益，表明其在缓解灾难性遗忘方面具有显著效果。
• 消融实验表明，共享提示会使平均性能下降 0.78%，验证了实例特定适应的必要性。
• 压缩权重在动作偏向运动的视频中对关键帧表现出有意义的关注，证明该方法具备识别显著时间内容的能力。