[论文解读] Interpretable Deep Feature Propagation for Early Action Recognition

He Zhao, Richard P. Wildes|arXiv (Cornell University)|Jul 11, 2021

Human Pose and Action Recognition参考文献 80被引用 7

一句话总结

该论文提出了一种新颖的可解释深度特征传播框架，用于早期动作识别，通过利用中间卷积神经网络（ConvNet）特征，并使用一种经过自适应卡尔曼滤波器增强的可学习残差生成网络（RGN）在时间上传播其残差，以减少误差累积。该方法在UCF101、JHMDB21和BIT-Interaction数据集上实现了最先进性能，同时通过揭示RGN作为捕捉运动模式的空间位移机制，以及卡尔曼滤波器根据实时估计误差自适应校正预测，实现了模型可解释性。

ABSTRACT

Early action recognition (action prediction) from limited preliminary observations plays a critical role for streaming vision systems that demand real-time inference, as video actions often possess elongated temporal spans which cause undesired latency. In this study, we address action prediction by investigating how action patterns evolve over time in a spatial feature space. There are three key components to our system. First, we work with intermediate-layer ConvNet features, which allow for abstraction from raw data, while retaining spatial layout. Second, instead of propagating features per se, we propagate their residuals across time, which allows for a compact representation that reduces redundancy. Third, we employ a Kalman filter to combat error build-up and unify across prediction start times. Extensive experimental results on multiple benchmarks show that our approach leads to competitive performance in action prediction. Notably, we investigate the learned components of our system to shed light on their otherwise opaque natures in two ways. First, we document that our learned feature propagation module works as a spatial shifting mechanism under convolution to propagate current observations into the future. Thus, it captures flow-based image motion information. Second, the learned Kalman filter adaptively updates prior estimation to aid the sequence learning process.

研究动机与目标

• 为在时间上下文有限的实时流式视觉系统中解决早期动作识别的挑战。
• 通过在空间特征空间中建模不断演化的动作模式，而非依赖完整动作序列，来提升性能。
• 增强动作预测中深度学习组件（特别是残差传播与卡尔曼滤波机制）的可解释性。
• 通过集成根据预测不确定性自适应调整的卡尔曼滤波器，减少长期预测中的误差累积。
• 揭示所学习组件（如RGN与卡尔曼滤波器）在捕捉运动动力学与稳定预测中的功能作用。

提出的方法

• 该方法使用预训练的ConvNet的中间层特征，以保留空间结构的同时实现对原始数据的抽象。
• 不直接传播特征，而是传播特征残差——即时间相邻特征图之间的差异，以实现紧凑且信息丰富的表示。
• 残差生成网络（RGN）基于初始观测递归预测未来残差，通过残差相加实现未来特征的重建。
• 集成自适应卡尔曼滤波器，利用状态估计与创新更新实时校正预测误差，以稳定长期预测。
• 卡尔曼滤波器在训练期间端到端地跨完整视频序列进行训练，推理时仅应用于观察到的部分序列。
• 系统将初始观测特征与预测特征结合，用于最终动作分类，从而实现实时决策。

实验结果

研究问题

• RQ1 在时间上下文有限的条件下，如何使深度特征传播既紧凑又稳定，以实现早期动作识别？
• RQ2 学习到的残差传播机制在建模视频特征中的运动动力学方面发挥什么作用？
• RQ3 自适应卡尔曼滤波器如何提升序列特征预测中的预测稳定性并减少误差累积？
• RQ4 所提出模型的内部组件（RGN与卡尔曼滤波器）在多大程度上可被解释，以揭示其在动作预测中的功能角色？
• RQ5 在多种动作数据集上，该方法与先前方法相比，在准确率与鲁棒性方面表现如何？

主要发现

• 所提方法在UCF100、JHMDB21和BIT-Interaction数据集上实现了最先进性能，优于现有早期动作识别方法。
• 所学习的RGN模块作为空间位移机制，隐式捕捉基于运动的图像光流，有效建模特征的时间演化。
• 卡尔曼滤波器根据预测误差自适应调整其增益，在运动方向发生突变时提供更大校正，从而在复杂运动场景中提升鲁棒性。
• 新提出的卡尔曼滤波器公式使用预测与观测之间的差异作为输入，相比先前方法使用原始预测与观测输入，显著降低了偏差暴露。
• 新设计的卡尔曼滤波器在JHMDB21与UCF101数据集上于低观测比例下实现了显著的准确率提升，尤其在运动变化不频繁的情况下。
• 在UCF101上，由于动作表现出连续且动态的变化，与先前卡尔曼方法相比，性能增益较小，因为两者均需高且持续的卡尔曼增益。