[论文解读] Hyper-Fisher Vectors for Action Recognition

Sanath Narayan, Kalpathi Ramakrishnan|arXiv (Cornell University)|Sep 28, 2015

Human Pose and Action Recognition参考文献 31被引用 3

一句话总结

本文提出超Fisher向量（HFV），一种新颖的视频动作识别编码方法，通过将Fisher向量（FV）编码分别应用于基于词袋（BoW）码书生成的聚类，增强了传统Fisher向量（FV）表示。该方法在多个数据集上将识别准确率提升了2–3%，包括在HMDB51上实现了3%的提升，并对码书大小变化表现出良好的鲁棒性。

ABSTRACT

In this paper, a novel encoding scheme combining Fisher vector and bag-of-words encodings has been proposed for recognizing action in videos. The proposed Hyper-Fisher vector encoding is sum of local Fisher vectors which are computed based on the traditional Bag-of-Words (BoW) encoding. Thus, the proposed encoding is simple and yet an effective representation over the traditional Fisher Vector encoding. By extensive evaluation on challenging action recognition datasets, viz., Youtube, Olympic Sports, UCF50 and HMDB51, we show that the proposed Hyper-Fisher Vector encoding improves the recognition performance by around 2-3% compared to the improved Fisher Vector encoding. We also perform experiments to show that the performance of the Hyper-Fisher Vector is robust to the dictionary size of the BoW encoding.

研究动机与目标

• 解决标准Fisher向量编码在捕捉视频动作特征中类内差异方面的局限性。
• 提升在具有高类内差异和环境变化的挑战性数据集上的动作识别性能。
• 开发一种鲁棒的编码方案，确保在词袋聚类中码书大小变化时仍保持高性能。
• 提出一种混合编码策略，将词袋结构嵌入Fisher向量中，以获得更优的特征表示。

提出的方法

• 对密集轨迹特征应用k-means聚类，提取BoW码书，将特征划分为基于聚类的组别。
• 使用共享的高斯混合模型（GMM），对每一组聚类独立计算Fisher向量编码，然后将所得向量相加，形成超Fisher向量（HFV）。
• 采用参数θ = {πₖ, μₖ, σₖ}的高斯混合模型（GMM）对局部特征分布进行建模，并计算FV编码所需的梯度。
• 对最终的HFV表示应用幂次归一化和L2归一化，以提升判别性能。
• 将HFV编码集成到标准视频分类流程中，使用SVM和平均池化操作。
• 采用改进的轨迹特征（例如Wang等人[29]提出的方法）作为输入描述子，以增强对相机运动和遮挡的鲁棒性。

实验结果

研究问题

• RQ1 将词袋聚类嵌入Fisher向量编码中，能否提升在具有挑战性的视频数据集上的动作识别性能？
• RQ2 所提出的超Fisher向量编码与标准Fisher向量编码相比，在准确率和鲁棒性方面表现如何？
• RQ3 超Fisher向量编码的性能在多大程度上受BoW码书大小的影响？
• RQ4 与标准FV相比，HFV表示是否能捕捉到更多具有判别性的视频特征差异？

主要发现

• 超Fisher向量编码在Olympic Sports、YouTube、UCF50和HMDB51等数据集上，相比改进的Fisher向量基线，识别准确率提升了2–3%。
• 在HMDB51数据集上，所提方法达到60.1%的准确率，相比iDT+FV基线的57.2%提升了3%。
• 与标准FV相比，HFV表示在均值偏差分量上表现出更广泛的能量分布，表明其对特征差异的建模能力更强。
• 在HMDB51中超过50%的视频，其FV-HFV相似度得分低于0.85，表明HFV与FV之间存在显著的表示差异。
• HFV在码书大小从500到4000的范围内性能保持稳定，准确率波动在1%以内，表明其对词典大小具有极强的鲁棒性。
• 该方法在所有评估数据集上均优于当前最先进的非深度学习方法，证实其作为标准FV编码替代方案的有效性。