[论文解读] VA-RED$^2$: Video Adaptive Redundancy Reduction

Bowen Pan, Rameswar Panda+7 more|arXiv (Cornell University)|Feb 15, 2021

Human Pose and Action Recognition参考文献 63被引用 5

一句话总结

VA-RED² 是一种模型无关、输入依赖的框架，通过选择性地仅计算非冗余特征并利用廉价的线性操作重建其余部分，动态减少视频识别模型中的冗余计算。该方法通过共享权重、可微分的机制联合学习时间维和通道维的自适应策略，在 I3D、R(2+1)D 和 X3D 模型上实现了 20–40% 的 FLOP 减少，且准确率无下降。

ABSTRACT

Performing inference on deep learning models for videos remains a challenge due to the large amount of computational resources required to achieve robust recognition. An inherent property of real-world videos is the high correlation of information across frames which can translate into redundancy in either temporal or spatial feature maps of the models, or both. The type of redundant features depends on the dynamics and type of events in the video: static videos have more temporal redundancy while videos focusing on objects tend to have more channel redundancy. Here we present a redundancy reduction framework, termed VA-RED$^2$, which is input-dependent. Specifically, our VA-RED$^2$ framework uses an input-dependent policy to decide how many features need to be computed for temporal and channel dimensions. To keep the capacity of the original model, after fully computing the necessary features, we reconstruct the remaining redundant features from those using cheap linear operations. We learn the adaptive policy jointly with the network weights in a differentiable way with a shared-weight mechanism, making it highly efficient. Extensive experiments on multiple video datasets and different visual tasks show that our framework achieves $20\% - 40\%$ reduction in computation (FLOPs) when compared to state-of-the-art methods without any performance loss. Project page: http://people.csail.mit.edu/bpan/va-red/.

研究动机与目标

• 解决由于时间与通道维度上特征图冗余导致的视频识别模型高计算成本问题。
• 在不损失模型准确率的前提下，减少时间与通道维度上的冗余。
• 开发一种模型无关、可微分的框架，根据内容动态调整每输入的计算量。
• 通过学习特征计算的自适应策略，实现在视频模型中的高效推理。

提出的方法

• 该框架使用基于输入的策略，确定需要完全计算的特征图比例，其余部分通过廉价的线性操作重建。
• 通过共享权重机制，将自适应策略与网络权重联合学习，实现端到端可微分。
• 该方法同时适用于时间维和通道维，根据视频内容（如静态或运动物体）动态调整计算量。
• 该方法可应用于 I3D、R(2+1)D 和 X3D 等 2D/3D CNN 主干网络，无需修改网络架构。
• 在微调过程中引入效率损失项，以鼓励低 FLOP 使用，同时保持准确率。
• 在视频动作识别、时空定位和语义分割任务中均进行了验证。

实验结果

研究问题

• RQ1 能否基于输入内容动态减少视频模型中的冗余特征，以提高计算效率？
• RQ2 在时间与通道维度上采用基于输入的计算方式，对模型准确率和 FLOP 减少有何影响？
• RQ3 可微分的、共享权重的策略能否自适应地选择在多样化视频输入中应计算的特征？
• RQ4 VA-RED² 在最先进视频模型中最多可将 FLOPs 减少多少，且不造成性能下降？
• RQ5 该框架是否可在动作识别之外的其他视频理解任务中实现泛化？

主要发现

• 在 Kinetics-400 和 Mini-Kinetics-200 数据集上，VA-RED² 在 I3D-InceptionV2 上实现了 40% 的 FLOPs 减少，且准确率无损失。
• 在相同基准上，与 R(2+1)D-18 相比，VA-RED² 将计算量减少了 30%，同时保持了最先进准确率。
• 在 X3D-M 上，该框架将 FLOPs 减少了约 20%，且无性能下降。
• 消融实验证实，对时间与通道维度同时进行动态建模可实现最佳的效率-准确率权衡。
• 可视化结果表明，策略能根据视频内容自适应调整：在复杂场景（如排球）中计算更多特征，而在静态或简单视频中计算更少。
• 该方法可泛化至密集预测任务，在 ADE-20K 数据集上使用空洞 ResNet-18 进行语义分割时，GFLOPs 减少了 31.2%，且保持了平均 IoU 不变。