[论文解读] Temporal Relational Reasoning in Videos

Bolei Zhou, Alex Andonian+2 more|arXiv (Cornell University)|Nov 22, 2017

Human Pose and Action Recognition参考文献 26被引用 33

一句话总结

本文提出了时间关系网络（TRN），一种即插即用模块，使卷积神经网络能够在多个时间尺度上学习并推理视频帧之间的时序关系。TRN仅使用稀疏的RGB帧，在Something-Something、Jester和Charades等动作识别基准上实现了最先进性能，显著优于双流网络和3D CNN，通过在视频中发现可解释的视觉常识知识实现这一突破。

ABSTRACT

Temporal relational reasoning, the ability to link meaningful transformations of objects or entities over time, is a fundamental property of intelligent species. In this paper, we introduce an effective and interpretable network module, the Temporal Relation Network (TRN), designed to learn and reason about temporal dependencies between video frames at multiple time scales. We evaluate TRN-equipped networks on activity recognition tasks using three recent video datasets - Something-Something, Jester, and Charades - which fundamentally depend on temporal relational reasoning. Our results demonstrate that the proposed TRN gives convolutional neural networks a remarkable capacity to discover temporal relations in videos. Through only sparsely sampled video frames, TRN-equipped networks can accurately predict human-object interactions in the Something-Something dataset and identify various human gestures on the Jester dataset with very competitive performance. TRN-equipped networks also outperform two-stream networks and 3D convolution networks in recognizing daily activities in the Charades dataset. Further analyses show that the models learn intuitive and interpretable visual common sense knowledge in videos.

研究动机与目标

• 使深度神经网络能够推理视频帧之间的时序关系，这一能力对于理解人类动作和交互至关重要。
• 解决现有模型在捕捉长时序和短时序依赖关系方面的局限性，尤其是在缺乏光流或密集帧的情况下。
• 开发一种通用、高效且可解释的模块，可轻松集成到任何CNN架构中用于视频理解。
• 证明TRN能够从时序变换中学习视觉常识知识，即使在帧采样有限的情况下亦可实现。

提出的方法

• TRN在多个时间尺度上处理视频帧对，使用带有ReLU激活的全连接层学习分类帧对之间的时序关系。
• 网络采用‘关系池化’机制，聚合多个帧对之间的关系，从而实现对长程时序依赖的建模。
• TRN以即插即用方式应用于标准2D CNN，支持端到端训练而无需修改网络架构。
• 通过仅处理视频的前几帧，该方法支持早期动作识别，利用学习到的时序关系预测未来动作。
• 在神经网络的不同阶段堆叠多个TRN模块，以捕捉分层的时序关系。
• 模型使用交叉熵损失进行训练，结合数据增强和帧采样策略以提升泛化能力。

实验结果

研究问题

• RQ1 像TRN这样简单且可解释的模块，是否能在不依赖光流或3D卷积的情况下，有效学习并推理视频中的时序关系？
• RQ2 TRN在需要理解对象间随时间变化的变换与交互的动作识别任务中，能将性能提升到何种程度？
• RQ3 TRN是否能通过仅使用视频前25%的帧实现早期动作识别？
• RQ4 TRN是否学习到了反映人类对视频时序序列直观理解的视觉常识知识？

主要发现

• 使用仅8帧的TRN网络在Something-Something数据集上达到34.44%的准确率，显著优于基线的19.53%。
• 在Jester数据集上，TRN将性能从基线的85.41%提升至95.31%的准确率，展现出在手势识别任务中的强大泛化能力。
• 在Charades数据集中，TRN优于双流网络和3D卷积网络，采用TR池化策略时达到25.20%的准确率。
• t-SNE可视化显示，TRN模型的特征能更清晰地区分不同动作类别，尤其在5帧TRN设置下表现更优，表明其具有更优的表征学习能力。
• 早期识别实验表明，TRN仅使用Something-Something数据集中前50%的帧即可实现19.10%的准确率，远超单帧基线的10.10%。
• 定性结果表明，TRN即使仅基于前25%的帧，也能生成合理的未来动作预测，反映出其学习到的视觉常识知识。