[论文解读] Beyond Gaussian Pyramid: Multi-skip Feature Stacking for Action Recognition

Zhenzhong Lan, Ming Lin+3 more|arXiv (Cornell University)|Nov 24, 2014

Human Pose and Action Recognition参考文献 8被引用 21

一句话总结

本文提出了一种名为多跳特征堆叠（Multi-skIp Feature Stacking, MIFS）的新颖特征增强技术，通过将具有多种时间跳数的差分滤波器提取的特征进行堆叠，以恢复传统高斯金字塔方法中丢失的低频动作信息。MIFS 能够实现学习能力的指数级提升，降低特征矩阵的条件数与方差，并在 Hollywood2、UCF101 和 UCF50 等动作识别基准上实现最先进性能，同时实现更快的特征提取，且精度损失极小。

ABSTRACT

Most state-of-the-art action feature extractors involve differential operators, which act as highpass filters and tend to attenuate low frequency action information. This attenuation introduces bias to the resulting features and generates ill-conditioned feature matrices. The Gaussian Pyramid has been used as a feature enhancing technique that encodes scale-invariant characteristics into the feature space in an attempt to deal with this attenuation. However, at the core of the Gaussian Pyramid is a convolutional smoothing operation, which makes it incapable of generating new features at coarse scales. In order to address this problem, we propose a novel feature enhancing technique called Multi-skIp Feature Stacking (MIFS), which stacks features extracted using a family of differential filters parameterized with multiple time skips and encodes shift-invariance into the frequency space. MIFS compensates for information lost from using differential operators by recapturing information at coarse scales. This recaptured information allows us to match actions at different speeds and ranges of motion. We prove that MIFS enhances the learnability of differential-based features exponentially. The resulting feature matrices from MIFS have much smaller conditional numbers and variances than those from conventional methods. Experimental results show significantly improved performance on challenging action recognition and event detection tasks. Specifically, our method exceeds the state-of-the-arts on Hollywood2, UCF101 and UCF50 datasets and is comparable to state-of-the-arts on HMDB51 and Olympics Sports datasets. MIFS can also be used as a speedup strategy for feature extraction with minimal or no accuracy cost.

研究动机与目标

• 解决差分算子在动作特征提取中引入的偏差与病态性问题，后者会削弱低频运动信息。
• 克服高斯金字塔方法的局限性，该方法因卷积平滑无法在粗尺度生成新特征。
• 开发一种可扩展、普适适用的方法，以增强特征学习能力，并在频域实现平移不变性，从而匹配不同速度下的动作。
• 通过实证验证 MIFS 在多样化基准上的性能，证明其在最先进方法中具有更优的性能与计算效率。

提出的方法

• MIFS 通过使用一组以多种时间跳数（例如每第1帧、第2帧、第3帧）为参数的差分滤波器提取特征，实现多尺度表征。
• 通过在多个时间尺度上组合特征，该方法在频域中引入了平移不变性，提升了对运动速度变化的鲁棒性。
• 理论上证明 MIFS 通过降低条件数与方差，能实现特征矩阵学习能力的指数级提升。
• 该方法与任何基于差分的特征提取器兼容，如光流或基于轨迹的方法，并可作为后处理增强层应用。
• 通过在较低帧率下提取特征（例如每第2帧或第3帧），MIFS 实现计算加速，显著减少处理时间，且精度损失极小。
• 该方法使用交叉验证选择线性支持向量机的最优正则化参数（C），并采用平均平均精度（MAP）评估性能。

实验结果

研究问题

• RQ1 多跳特征堆叠能否恢复差分算子中丢失的低频运动信息，从而提升动作识别的鲁棒性？
• RQ2 与传统单尺度表征相比，MIFS 是否显著降低了特征矩阵的条件数与方差？
• RQ3 MIFS 在 UCF101、Hollywood2 和 TRECVID MED 等具有挑战性的动作识别与事件检测基准上，性能提升程度如何？
• RQ4 MIFS 是否可作为特征提取的加速策略，而无需牺牲精度？
• RQ5 需要多少额外尺度（时间跳数）才能恢复大部分丢失的信息？其计算成本权衡如何？

主要发现

• 在 MEDTEST13 和 MEDTEST14 数据集上，MIFS 分别将平均平均精度（MAP）提升了约 2%，在 EK100 上分别达到 36.3% 和 29.0% 的 MAP。
• 在 UCF101 和 UCF50 数据集上，MIFS 超越了最先进性能，证明其在标准动作识别基准上的有效性。
• 在 HMDB51 和 Olympics Sports 数据集上，MIFS 达到了与最先进方法相当的性能，表明其具有广泛适用性。
• 该方法显著降低了特征矩阵的条件数与方差，证实了其在学习能力方面的理论优势。
• 仅使用每第2帧或第3帧的特征（L=1 或 L=2-0）即可降低计算成本，同时保持或优于单次遍历方法的精度。
• 实验表明，增加一到两个额外尺度即可恢复大部分丢失的信息，表明所需尺度数量与动作带宽呈对数关系。