[论文解读] Handcrafted Local Features are Convolutional Neural Networks

Zhenzhong Lan, Shoou-I Yu+3 more|arXiv (Cornell University)|Nov 16, 2015

Human Pose and Action Recognition参考文献 32被引用 9

一句话总结

本文提出了一种新颖的视频特征学习方法 Two-Stream ConvISA，通过利用其共享的卷积-池化架构，统一了手工设计的局部特征与卷积神经网络（CNNs）。通过在轻量级、非端到端的框架中，用无监督学习得到的滤波器替代固定的、手工设计的滤波器，该方法在 HMDB51 和 UCF101 上实现了最先进水平的准确率，同时训练速度比在 4 块 GPU 上训练的端到端方法快了数个数量级（CPU 上仅需 2 小时，而后者需约 1 天），且无需任何标注数据。

ABSTRACT

Image and video classification research has made great progress through the development of handcrafted local features and learning based features. These two architectures were proposed roughly at the same time and have flourished at overlapping stages of history. However, they are typically viewed as distinct approaches. In this paper, we emphasize their structural similarities and show how such a unified view helps us in designing features that balance efficiency and effectiveness. As an example, we study the problem of designing efficient video feature learning algorithms for action recognition. We approach this problem by first showing that local handcrafted features and Convolutional Neural Networks (CNNs) share the same convolution-pooling network structure. We then propose a two-stream Convolutional ISA (ConvISA) that adopts the convolution-pooling structure of the state-of-the-art handcrafted video feature with greater modeling capacities and a cost-effective training algorithm. Through custom designed network structures for pixels and optical flow, our method also reflects distinctive characteristics of these two data sources. Our experimental results on standard action recognition benchmarks show that by focusing on the structure of CNNs, rather than end-to-end training methods, we are able to design an efficient and powerful video feature learning algorithm.

研究动机与目标

• 通过揭示手工局部特征与深度 CNN 之间共享的卷积-池化架构，弥合二者在概念和结构上的鸿沟。
• 解决手工特征的局限性——即固定滤波器导致建模能力有限，同时避免端到端 CNN 训练带来的高计算成本和标注数据需求。
• 设计一种高效、无需标签的视频特征学习算法，在标准动作识别基准上保持高性能。
• 探索在 CNN 类架构中进行无监督特征学习，是否能在效率和有效性方面超越有监督的端到端训练。

提出的方法

• 将手工特征（如 IDT）重新表述为卷积-池化神经网络结构，证明手工特征与 CNN 方法共享相同的底层架构。
• 提出 Two-Stream ConvISA，一种双流模型，对视觉（RGB）和运动（光流）模态分别应用相同的卷积-池化结构，并为每种模态使用独立学习的滤波器。
• 通过独立子空间分析（ISA）和主成分分析（PCA）进行无监督特征学习，以学习滤波器，而非依赖固定的、手工设计的滤波器。
• 基于实验消融分析结果，对视觉特征采用时间投影，对运动特征采用时间池化，以实现各模态的最优性能。
• 在拼接描述符前应用幂归一化和 ℓ₂ 归一化，随后使用 C=100 的线性 SVM 分类器进行多分类。
• 在无任何标注数据的情况下训练特征提取模块，仅关注架构设计与无监督学习，同时保持推理与分类过程的简洁性。

实验结果

研究问题

• RQ1 能否利用手工局部特征与 CNN 之间的结构相似性，设计出更高效且更有效的视频特征学习方法？
• RQ2 在卷积-池化架构中，用无监督学习得到的滤波器替代固定的、手工设计的滤波器，是否能在降低计算成本的同时提升性能？
• RQ3 非端到端、无标签的特征学习方法是否能在动作识别任务中超越最先进的端到端 CNN？
• RQ4 不同的时间聚合策略（投影 vs. 池化）对视觉与运动特征的性能有何影响？
• RQ5 将无监督特征学习（PCA 与 ISA）集成到 CNN 类结构中，能在多大程度上提升手工特征流水线的性能？

主要发现

• Two-Stream ConvISA 在 HMDB51 上达到 61.5% 的准确率，在 UCF101 上达到 88.3%，尽管使用的数据更少且特征学习过程无标签，仍优于双流 CNN（分别为 59.4% 和 88.0%）。
• 该方法在单个 CPU 上训练仅需约 2 小时，而双流 CNN 需在 4 块 GPU 上训练约 1 天，展现出显著的效率优势。
• 所学习的视觉描述符（LOG）在 HMDB51 上将 HOG 性能提升超过 10%（从 42.0% 提升至 52.4%），在 UCF101 上提升超过 7%，且无需额外训练数据。
• 所学习的运动描述符（LOF）在 HMDB51 上优于 HOF 和 MBH 超过 4%，在 UCF101 上优于超过 3%，证明了学习滤波器的有效性。
• 结合 PCA 与 ISA 输出（ISA+）在 HMDB51 上性能提升超过 3%，在 UCF101 上提升超过 2%，表明不同无监督学习方法具有互补优势。
• 时间投影在视觉特征上优于池化，而时间池化在运动特征上更优，表明模态特定的设计至关重要。