[论文解读] Discriminative convolutional Fisher vector network for action recognition

Petar Palasek, Ioannis Patras|arXiv (Cornell University)|Jul 19, 2017

Human Pose and Action Recognition参考文献 23被引用 7

一句话总结

该论文提出了一种新颖的端到端可微分神经网络架构，将Fisher向量编码（GMM、PCA和FV提取）整合为可学习层，实现对时空特征的判别性优化，用于动作识别。该方法在UCF-101数据集上实现了81.84%的准确率，仅使用2058万参数，显著减少了参数量，同时超越了相似的CNN模型。

ABSTRACT

In this work we propose a novel neural network architecture for the problem of human action recognition in videos. The proposed architecture expresses the processing steps of classical Fisher vector approaches, that is dimensionality reduction by principal component analysis (PCA) projection, Gaussian mixture model (GMM) and Fisher vector descriptor extraction, as network layers. By contrast to other methods where these steps are performed consecutively and the corresponding parameters are learned in an unsupervised manner, having them defined as a single neural network allows us to refine the whole model discriminatively in an end to end fashion. Furthermore, we show that the proposed architecture can be used as a replacement for the fully connected layers in popular convolutional networks achieving a comparable classification performance, or even significantly surpassing the performance of similar architectures while reducing the total number of trainable parameters by a factor of 5. We show that our method achieves significant improvements in comparison to the classical chain.

研究动机与目标

• 解决经典Fisher向量描述子的局限性，即在缺乏任务特定监督的情况下独立训练。
• 将GMM学习、PCA投影和Fisher向量编码步骤统一为一个端到端可训练的神经网络。
• 在保持或提升分类准确率的同时，减少深度网络中的可训练参数数量。
• 实现密集的时空Fisher向量描述子提取，以改善视频表征。

提出的方法

• 该架构引入了两种新型层：高斯混合模型（GMM）层和Fisher向量（FV）描述子层，二者均可微分并通过反向传播进行训练。
• 网络通过逐层无监督预训练（GMM、PCA、FV）初始化，随后使用监督损失进行端到端微调。
• 使用3D卷积层从视频片段中提取局部时空特征，随后在中间层进行FV编码。
• FV层利用Fisher信息矩阵计算相对于GMM参数的梯度，从而实现编码过程的反向传播。
• 该模型支持在空间和时间上的密集采样，可自然地与空间金字塔池化和注意力机制集成。
• 网络的顶层可替代标准CNN（如VGG-16）中的全连接层，使参数量减少5倍。

实验结果

研究问题

• RQ1 能否在深度神经网络中将Fisher向量编码步骤（GMM、PCA、FV）有效建模为可微分层，以实现动作识别？
• RQ2 在整个网络（包括FV编码）上进行端到端训练，是否能获得比单独预训练各组件的无监督预训练更好的判别性能？
• RQ3 所提出的架构能否在显著减少可训练参数数量的同时，实现与标准CNN相当或更优的准确率？
• RQ4 基于FV的网络在不造成性能下降的前提下，能在多大程度上替代VGG-16等流行CNN中的全连接层？

主要发现

• 当以VGG-16特征作为输入时，所提方法在UCF-101数据集上达到81.84%的top-1准确率，优于VGG-16的空间流（82.61%），且总参数量仅为2058万，远低于VGG-16的13467万。
• 与标准VGG-16相比，该模型在顶层参数量上减少了5倍，性能差距仅为3.5%。
• 将VGG-16的全连接层替换为基于FV的层后，参数量从11996万降至587万，性能相当。
• 仅使用单层卷积RBM作为基础时，该方法在UCF-101上直接训练即达到61.67%的准确率，优于两流网络的空间流（52.3%）。
• 端到端微调过程显著提升了性能，优于无监督预训练基线，证明了联合优化的优势。
• 该架构支持在空间和时间上进行密集的FV提取，支持空间金字塔集成并提升特征覆盖范围。