[论文解读] Differential Recurrent Neural Networks for Action Recognition

Vivek Veeriah, Naifan Zhuang+1 more|arXiv (Cornell University)|Apr 25, 2015

Human Pose and Action Recognition参考文献 31被引用 97

一句话总结

本文提出了一种新型LSTM变体——微分循环神经网络（dRNN），通过建模隐藏状态的导数（DoS）来捕捉显著的时空动态，从而提升动作识别性能。通过将一阶和二阶导数引入门控机制，dRNN在2D（KTH）和3D（MSR Action3D）动作识别数据集上均优于标准LSTM及竞争性非LSTM模型，实现了最先进（SOTA）的准确率，且无需对动作序列施加结构假设。

ABSTRACT

The long short-term memory (LSTM) neural network is capable of processing complex sequential information since it utilizes special gating schemes for learning representations from long input sequences. It has the potential to model any sequential time-series data, where the current hidden state has to be considered in the context of the past hidden states. This property makes LSTM an ideal choice to learn the complex dynamics of various actions. Unfortunately, the conventional LSTMs do not consider the impact of spatio-temporal dynamics corresponding to the given salient motion patterns, when they gate the information that ought to be memorized through time. To address this problem, we propose a differential gating scheme for the LSTM neural network, which emphasizes on the change in information gain caused by the salient motions between the successive frames. This change in information gain is quantified by Derivative of States (DoS), and thus the proposed LSTM model is termed as differential Recurrent Neural Network (dRNN). We demonstrate the effectiveness of the proposed model by automatically recognizing actions from the real-world 2D and 3D human action datasets. Our study is one of the first works towards demonstrating the potential of learning complex time-series representations via high-order derivatives of states.

研究动机与目标

• 为解决传统LSTM在动作识别过程中难以捕捉显著时空动态的局限性。
• 通过显式建模视频帧间信息增益的变化，利用隐藏状态的高阶导数来提升动作识别性能。
• 开发一种对动态运动模式敏感的通用RNN架构，且不依赖于手工设计的时空假设。
• 证明高阶状态导数在增强视频动作识别序列表征学习方面的有效性。

提出的方法

• 将状态导数（DoS）作为LSTM门控机制的新输入，其中DoS用于捕捉连续帧之间隐藏状态的变化率。
• 设计一种微分RNN（dRNN）架构，该架构在LSTM的输入门、输出门和遗忘门中计算并利用一阶和二阶DoS。
• 使用截断时间反向传播进行训练，以缓解梯度消失/爆炸问题，同时保持时间依赖性。
• 将dRNN与标准的空间-时间特征（如HOG3D和HOF）结合，实现无需修改输入表示的端到端学习。
• 将dRNN模型应用于2D和3D人体动作识别数据集，以评估其泛化能力和性能表现。

实验结果

研究问题

• RQ1 建模隐藏状态的导数是否能改善动作识别中动态运动模式的表征？
• RQ2 将高阶导数（DoS）引入LSTM门控是否能相比标准LSTM在动作识别任务中取得更优性能？
• RQ3 与依赖强时空结构假设的专用模型相比，dRNN的性能如何？
• RQ4 dRNN是否能在无需架构修改的情况下在不同动作识别数据集中实现良好泛化？

主要发现

• 在KTH-1数据集上，二阶dRNN达到了93.96%的准确率，优于标准LSTM（90.7%）及其他SOTA方法。
• 在KTH-2数据集上，二阶dRNN达到92.12%的准确率，超过LSTM基线（87.78%）及大多数对比模型。
• 在更具挑战性的MSR Action3D数据集上，二阶dRNN实现了92.03%的准确率，即使在跨被试评估下也表现出色。
• dRNN在所有数据集上均持续优于标准LSTM，表明其对显著运动动态具有更强的敏感性。
• 尽管未依赖3D深度数据的几何假设，dRNN在性能上仍与专用模型（如SNV，93.09%）保持相当水平。