[论文解读] Eigen Evolution Pooling for Human Action Recognition

Yan Wang, Vinh Cao Trần+1 more|arXiv (Cornell University)|Aug 17, 2017

Human Pose and Action Recognition参考文献 33被引用 6

一句话总结

本文提出了一种新型的时间池化方法——特征演化池化（Eigen Evolution Pooling, EEP），通过使用主成分分析（PCA）导出的基函数来建模视频序列中的特征演化，从而捕捉长期动态。EEP在平均池化、最大池化和排名池化之上表现更优，在UCF101上达到95.8%的最先进准确率，在Hollywood2上达到80.5%的平均平均精度，当与TSN和密集轨迹或VideoDarwin特征结合时表现尤为突出。

ABSTRACT

We introduce Eigen Evolution Pooling, an efficient method to aggregate a sequence of feature vectors. Eigen evolution pooling is designed to produce compact feature representations for a sequence of feature vectors, while maximally preserving as much information about the sequence as possible, especially the temporal evolution of the features over time. Eigen evolution pooling is a general pooling method that can be applied to any sequence of feature vectors, from low-level RGB values to high-level Convolutional Neural Network (CNN) feature vectors. We show that eigen evolution pooling is more effective than average, max, and rank pooling for encoding the dynamics of human actions in video. We demonstrate the power of eigen evolution pooling on UCF101 and Hollywood2 datasets, two human action recognition benchmarks, and achieve state-of-the-art performance.

研究动机与目标

• 为解决现有池化方法在捕捉视频中人类动作长期时间动态方面的局限性。
• 开发一种通用、高效且信息保留性良好的方法，用于聚合特征向量序列。
• 通过使用基于PCA的基函数对随时间演变的特征进行建模，提升动作识别性能。
• 在基准数据集UCF101和Hollywood2上展示EEP的有效性，特别是在与深度特征和手工设计描述符结合时。

提出的方法

• EEP将时间维度上的每个特征分量视为一维函数，并使用采样特征向量上的PCA系数来表示序列。
• 该方法以规则间隔采样L个特征向量（例如L=16或25），并应用PCA以学习捕捉特征演化主要模式的基函数。
• 由此产生的PCA系数形成紧凑且信息丰富的表示（如EEP1、EEP2等），比标准池化方法更有效地编码时间动态。
• 基函数可通过离散余弦变换（DCT）近似，以提高计算效率，并支持可变长度视频的灵活应用。
• EEP可应用于任意特征向量序列，包括RGB帧（生成“特征图像”）或深度卷积神经网络特征（如TSN特征）。
• 该方法被集成到时间片段网络（TSN）中，形成“特征TSN”（Eigen TSN），结合EEP与最大池化以提升性能。

实验结果

研究问题

• RQ1 一种使用基于PCA的基函数建模特征时间演化的池化方法，是否能在动作识别中超越平均池化、最大池化和排名池化等标准池化方法？
• RQ2 在长期动作建模中，特征演化池化（EEP）相比排名池化在多大程度上保留了时间动态？
• RQ3 当与深度学习特征（如TSN）和手工设计描述符（如DTD、VideoDarwin）结合时，EEP在标准基准数据集上的表现如何？
• RQ4 基于DCT的近似方法是否能有效逼近特征基函数，同时保持性能并支持可变长度视频的应用？

主要发现

• 当与TSN和VideoDarwin特征结合时，特征演化池化（EEP）在UCF101上达到95.8%的准确率，在Hollywood2上达到80.5%的平均平均精度，创下新的最先进水平。
• 在TSN特征上，使用EEP（1+2+3个分量）与最大池化结合，可在UCF101上实现94.6%的准确率，在Hollywood2上实现75.5%的平均平均精度。
• 使用EEP与密集轨迹描述符（DTD）可在UCF101上实现95.8%的准确率，在Hollywood2上实现79.3%的平均平均精度。
• 使用DCT近似的EEP与精确EEP性能相当，仅在UCF101（split1）上出现0.7%的准确率下降，验证了其实际可行性。
• 实验表明，排名池化被平均池化和最大池化超越，而EEP在两个数据集上始终优于这三种方法。
• 该方法在不同类型的特征上均具有通用性和有效性，包括原始RGB（特征图像）和深度卷积神经网络特征（如TSN）