[论文解读] Object-Scene Convolutional Neural Networks for Event Recognition in Images

Limin Wang, Zhe Wang+2 more|arXiv (Cornell University)|May 2, 2015

Human Pose and Action Recognition参考文献 13被引用 7

一句话总结

本文提出物体-场景卷积神经网络（OS-CNN），一种双流深度学习架构，可分别提取静态图像中事件识别的物体级与场景级特征。通过融合在ImageNet和Places上分别预训练的深度（AlexNet/ClarifaiNet）与非常深度（GoogLeNet）网络的特征，该方法在ChaLearn LAP 2015文化事件识别挑战赛中取得85.5%的准确率，排名第一。

ABSTRACT

Event recognition from still images is of great importance for image understanding. However, compared with event recognition in videos, there are much fewer research works on event recognition in images. This paper addresses the issue of event recognition from images and proposes an effective method with deep neural networks. Specifically, we design a new architecture, called Object-Scene Convolutional Neural Network (OS-CNN). This architecture is decomposed into object net and scene net, which extract useful information for event understanding from the perspective of objects and scene context, respectively. Meanwhile, we investigate different network architectures for OS-CNN design, and adapt the deep (AlexNet) and very-deep (GoogLeNet) networks to the task of event recognition. Furthermore, we find that the deep and very-deep networks are complementary to each other. Finally, based on the proposed OS-CNN and comparative study of different network architectures, we come up with a solution of five-stream CNN for the track of cultural event recognition at the ChaLearn Looking at People (LAP) challenge 2015. Our method obtains the performance of 85.5% and ranks the $1^{st}$ place in this challenge.

研究动机与目标

• 为解决静态图像中事件识别的挑战，其中有限的运动线索使得识别难度高于视频。
• 通过利用物体与场景上下文之间的互补视觉线索，提升事件识别性能。
• 探究不同深度与非常深度CNN架构在基于图像的事件识别中的有效性。
• 开发一种基于集成的稳健解决方案，通过融合多个网络流实现更优性能。

提出的方法

• 提出OS-CNN，一种双流架构，包含独立处理物体特征与场景特征的物体网络和场景网络。
• 在ImageNet上预训练物体网络，在Places上预训练场景网络，以利用大规模标注数据提升特征学习效果。
• 采用晚期融合策略，结合物体流与场景流的分类得分以进行最终预测。
• 在挑战赛的训练数据上进行微调，使预训练模型适应文化事件识别任务。
• 探索多种网络架构——AlexNet、ClarifaiNet（深度）和GoogLeNet（非常深度）——以评估性能与互补性。
• 构建一个五流CNN集成模型，结合不同架构与预训练数据集，以最大化性能。

实验结果

研究问题

• RQ1 分别建模物体与场景上下文的双流CNN架构在静态图像事件识别中的有效性如何？
• RQ2 如GoogLeNet这样的非常深度CNN是否在基于图像的事件识别中优于AlexNet这样的深度CNN？
• RQ3 当融合用于事件识别时，深度与非常深度网络在多大程度上具有互补性？
• RQ4 通过融合具有不同架构与预训练数据的多条流，是否能提升识别准确率？

主要发现

• 采用OS-CNN的五流CNN集成模型实现了85.5%的top-1准确率，在ChaLearn LAP 2015挑战赛中排名第一。
• 非常深度网络（GoogLeNet）在平均精度均值上比深度网络（AlexNet）高出约3%。
• 融合深度与非常深度架构使性能相比单独使用任一架构提升了约2%。
• 仅使用物体网络的性能优于仅使用场景网络，表明在本任务中物体级线索更具判别性。
• 物体网络与场景网络学习到的滤波器显示出共享模式（如边缘），也表现出独特且互补的特征，验证了双流设计的有效性。
• 在ImageNet与Places上进行预训练，并结合微调，显著提升了文化事件识别任务的性能。