[论文解读] Cultural Event Recognition with Visual ConvNets and Temporal Models

Amaia Salvador, Matthias Zeppelzauer+3 more|arXiv (Cornell University)|Apr 24, 2015

Advanced Image and Video Retrieval Techniques参考文献 21被引用 10

一句话总结

本文提出一种晚期融合方法，结合微调与非微调CaffeNet层的视觉特征，并引入时序建模，以提升照片中文化事件识别的性能。通过利用时间戳分布对基于SVM的预测结果进行时序优化，该方法在ChaLearn 2015测试集上实现了0.767的平均平均精度（mAP），在七项提交中排名第二。

ABSTRACT

This paper presents our contribution to the ChaLearn Challenge 2015 on Cultural Event Classification. The challenge in this task is to automatically classify images from 50 different cultural events. Our solution is based on the combination of visual features extracted from convolutional neural networks with temporal information using a hierarchical classifier scheme. We extract visual features from the last three fully connected layers of both CaffeNet (pretrained with ImageNet) and our fine tuned version for the ChaLearn challenge. We propose a late fusion strategy that trains a separate low-level SVM on each of the extracted neural codes. The class predictions of the low-level SVMs form the input to a higher level SVM, which gives the final event scores. We achieve our best result by adding a temporal refinement step into our classification scheme, which is applied directly to the output of each low-level SVM. Our approach penalizes high classification scores based on visual features when their time stamp does not match well an event-specific temporal distribution learned from the training and validation data. Our system achieved the second best result in the ChaLearn Challenge 2015 on Cultural Event Classification with a mean average precision of 0.767 on the test set.

研究动机与目标

• 为解决在语义元数据稀疏的情况下，利用视觉与时序线索识别照片中的文化事件这一挑战。
• 探究深度视觉特征是否能有效表征文化重要事件的语义本质。
• 通过整合从照片时间戳中提取的时序模式，提升分类的鲁棒性。
• 评估使用Flickr图像进行数据增强对模型泛化能力的影响。
• 开发一种分层分类框架，融合多层CNN特征与时序约束。

提出的方法

• 从预训练和微调后的CaffeNet模型的最后三个全连接层（FC6、FC7、FC8）中提取视觉特征。
• 对每个神经码分别训练线性SVM，用于50个文化事件的分类，使用概率输出。
• 将低层SVM的预测结果融合至高层SVM，生成最终事件得分。
• 利用样条函数建模照片时间戳，从训练/验证数据中学习特定事件的时序分布。
• 通过时序优化对预测结果进行修正：当时间戳偏离学习到的事件特定时序模式时，对高置信度预测施加惩罚。
• 使用与训练集时间相似度高的Flickr图像进行训练数据增强，但该方法导致性能下降。

实验结果

研究问题

• RQ1 来自预训练和微调CNN的深度视觉特征是否能有效表征文化事件的语义内容？
• RQ2 在缺乏丰富语义注释的情况下，时序元数据在多大程度上能提升文化事件识别的准确性？
• RQ3 在此背景下，多层CNN特征的晚期融合与单层或早期融合策略相比表现如何？
• RQ4 使用从Flickr爬取的图像进行数据增强是否能提升模型在ChaLearn数据集上的泛化能力？
• RQ5 基于样条的时序建模是否能有效优化基于视觉的预测结果，并降低事件分类中的噪声？

主要发现

• 最佳配置在ChaLearn 2015测试集上实现了0.767的平均平均精度（mAP），在七项提交中排名第二。
• 时序优化带来了稳定但适中的性能提升，将mAP从0.7357提升至0.767。
• 结合微调与原始CaffeNet特征（FC6-FC7-FC8）的性能优于仅使用微调特征。
• 添加与Flickr图像中时间相似度高的图像导致mAP从0.5821降至0.4547，表明数据集间存在领域偏移。
• 仅使用FC6层在时序优化下实现了最高的mAP（0.6893），优于FC7和FC8。
• 本研究凸显了即使在元数据稀疏或不可靠的情况下，视觉特征对文化事件仍具有强大的判别能力。