[论文解读] Cooperative Cross-Stream Network for Discriminative Action Representation

Jingran Zhang, Fumin Shen+2 more|arXiv (Cornell University)|Aug 27, 2019

Human Pose and Action Recognition参考文献 47被引用 4

一句话总结

该论文提出了一种协作跨流（CCS）网络，通过模态互补性模块和结合交叉熵与模态排序约束的联合损失函数，联合优化空间（RGB）和时间（光流）流特征。该方法增强了判别性特征学习并减少了模态差异，在HMDB-51、UCF-101和Kinetics-S something数据集上实现了最先进性能。

ABSTRACT

Spatial and temporal stream model has gained great success in video action recognition. Most existing works pay more attention to designing effective features fusion methods, which train the two-stream model in a separate way. However, it's hard to ensure discriminability and explore complementary information between different streams in existing works. In this work, we propose a novel cooperative cross-stream network that investigates the conjoint information in multiple different modalities. The jointly spatial and temporal stream networks feature extraction is accomplished by an end-to-end learning manner. It extracts this complementary information of different modality from a connection block, which aims at exploring correlations of different stream features. Furthermore, different from the conventional ConvNet that learns the deep separable features with only one cross-entropy loss, our proposed model enhances the discriminative power of the deeply learned features and reduces the undesired modality discrepancy by jointly optimizing a modality ranking constraint and a cross-entropy loss for both homogeneous and heterogeneous modalities. The modality ranking constraint constitutes intra-modality discriminative embedding and inter-modality triplet constraint, and it reduces both the intra-modality and cross-modality feature variations. Experiments on three benchmark datasets demonstrate that by cooperating appearance and motion feature extraction, our method can achieve state-of-the-art or competitive performance compared with existing results.

研究动机与目标

• 为解决两流网络中独立训练的局限性，即无法充分利用空间-时间信息的互补性且受模态差异影响。
• 通过联合优化模态特定约束与跨模态约束，提升深度特征的判别能力。
• 通过一种新颖的排序损失减少模态内与模态间特征差异，该损失强制实施三元组和嵌入约束。
• 实现空间流与时间流的端到端联合训练，通过相互增强提升对模糊动作（如'drink'与'eat'）的分类性能。

提出的方法

• 引入一种连接模块，显式建模RGB与光流特征之间的跨模态相关性。
• 采用联合损失函数，结合标准交叉熵损失与模态排序约束，适用于同质与异质模态学习。
• 模态排序约束包含模态内判别性嵌入与模态间三元组损失，以最小化模态内与模态间特征方差。
• 使用逐元素平均进行剪辑级别得分的后期融合，其性能优于拼接及其他融合策略，在HMDB-51上表现最佳。
• 采用BN-Inception、ResNet和VGG等主干网络，在ImageNet上预训练后用于特征提取。
• 应用类别激活映射（CAM）可视化注意力区域，显示模型聚焦于手部和眼部等动作相关部位。

实验结果

研究问题

• RQ1 与独立训练相比，RGB与光流流的联合端到端训练是否能提升动作识别准确率？
• RQ2 如何减少外观与运动特征之间的模态差异，以增强特征的可判别性？
• RQ3 结合交叉熵与模态排序的联合损失是否能提升如'drink'与'eat'等模糊动作类别的性能？
• RQ4 在准确率与鲁棒性方面，两流网络剪辑级别得分的最优融合策略是什么？

主要发现

• 所提出的CCS网络在HMDB-51、UCF-101和Kinetics-S something数据集上实现了最先进或具有竞争力的性能。
• 剪辑得分的逐元素平均融合优于拼接及其他后期融合方法，在HMDB-51上达到最高准确率。
• 当超参数设置为α₁=0.3，α₂=0.3，α₃=0.8时，在UCF-101上取得97.4%的最佳准确率，表明收敛性与性能之间的最佳权衡。
• 在UCF-101上，BN-Inception主干网络表现优于VGG与ResNet，凸显其与所提框架的适配性。
• CAM可视化结果表明，模型能够学习聚焦于手部和眼部等判别性身体部位，与人类对动作相关区域的感知一致。
• 模态排序约束有效减少了模态内与模态间特征差异，提升了泛化能力与鲁棒性。