[论文解读] Collaborative Distillation in the Parameter and Spectrum Domains for Video Action Recognition

Haisheng Su, Jing Su+6 more|arXiv (Cornell University)|Sep 15, 2020

Human Pose and Action Recognition参考文献 32被引用 9

一句话总结

本文提出了一种新型的知识蒸馏框架——特征与参数协同蒸馏（FPCD），用于视频动作识别。该方法通过利用特征的时频谱和参数分布的频域信息，训练轻量级学生网络。通过联合蒸馏教师网络中的运动动态与外观建模知识，FPCD在Kinetics、Something-Something和Jester数据集上实现了显著更小模型尺寸和更低计算量下的最先进性能。

ABSTRACT

Recent years have witnessed the significant progress of action recognition task with deep networks. However, most of current video networks require large memory and computational resources, which hinders their applications in practice. Existing knowledge distillation methods are limited to the image-level spatial domain, ignoring the temporal and frequency information which provide structural knowledge and are important for video analysis. This paper explores how to train small and efficient networks for action recognition. Specifically, we propose two distillation strategies in the frequency domain, namely the feature spectrum and parameter distribution distillations respectively. Our insight is that appealing performance of action recognition requires extit{explicitly} modeling the temporal frequency spectrum of video features. Therefore, we introduce a spectrum loss that enforces the student network to mimic the temporal frequency spectrum from the teacher network, instead of extit{implicitly} distilling features as many previous works. Second, the parameter frequency distribution is further adopted to guide the student network to learn the appearance modeling process from the teacher. Besides, a collaborative learning strategy is presented to optimize the training process from a probabilistic view. Extensive experiments are conducted on several action recognition benchmarks, such as Kinetics, Something-Something, and Jester, which consistently verify effectiveness of our approach, and demonstrate that our method can achieve higher performance than state-of-the-art methods with the same backbone.

研究动机与目标

• 解决在资源受限的实际应用中部署大型、计算成本高昂的视频动作识别模型的挑战。
• 克服现有知识蒸馏方法仅关注空间特征、忽略视频中时序与频域结构知识的局限性。
• 通过频域知识显式建模时序动态与外观表征，提升轻量级学生网络的性能。
• 提出一种协同学习策略，动态消除蒸馏过程中的冗余知识，实现更高效的训练。
• 在多种视频架构与基准数据集（包括Kinetics、Something-Something和Jester）上展示方法的泛化能力。

提出的方法

• 引入频谱损失，促使学生网络模仿教师网络视频特征的时频谱，以捕捉运动与场景级表征。
• 提出参数分布蒸馏，通过匹配其频域分布，将教师网络卷积层权重的结构知识迁移至学生网络。
• 从概率视角构建协同学习策略，自适应地抑制教师网络中的冗余知识，优化蒸馏过程。
• 将频谱损失、参数蒸馏损失与标准交叉熵分类损失统一为联合训练目标。
• 将该框架应用于多种视频主干网络架构（如STM、I3D、TSN）及数据集，评估其泛化性与效率。
• 利用傅里叶变换分析并比较特征与参数的频谱，验证低频与高频分量在视频理解中的重要性。

实验结果

研究问题

• RQ1 蒸馏视频特征的时频谱是否能提升轻量级学生网络的动作识别性能？
• RQ2 建模网络参数的频域分布是否能增强学生网络从教师网络学习外观建模能力？
• RQ3 协同学习如何通过消除冗余知识提升知识蒸馏的效率？
• RQ4 所提方法在不同视频架构与数据集上的泛化程度如何？
• RQ5 在不同类型的视频数据集（如场景相关 vs. 动作相关）中，低频或高频分量对性能的贡献更大？

主要发现

• 在Kinetics-400上，采用学生网络STM-ResNet18的FPCD达到71.1%的top-1准确率，超越基线方法Simple KD与CCKD，并显著缩小与更深教师网络ResNet-50的差距。
• 在Something-Something V1上，FPCD使用通道减半的I3D主干网络达到39.1%的top-1准确率，分别优于Simple KD（37.4%）与CCKD（38.0%）1.7%与1.1%。
• 在Kinetics-400上，低频特征谱蒸馏带来的性能增益比高频蒸馏高1.3%，证实其在场景外观建模中的重要性。
• 在场景相关数据集（如Kinetics-400）上，参数分布蒸馏带来的性能提升大于特征谱蒸馏，表明其在捕捉空间外观线索方面的有效性。
• 协同学习策略可实现冗余知识的动态消除，提升蒸馏效率与不同框架间性能的一致性。
• FPCD在多种架构上均表现出良好泛化能力：在TSN-ResNet18上，其在Jester和Something-Something V2上超越了教师网络ResNet-50；在所有数据集上，其在轻量级Inception V1（通道减半）上也保持了稳定的性能增益。