[论文解读] Artwork Identification from Wearable Camera Images for Enhancing Experience of Museum Audiences

Rui Zhang, Yusuf Tas+1 more|arXiv (Cornell University)|Jun 24, 2018

Advanced Image and Video Retrieval Techniques参考文献 11被引用 10

一句话总结

本研究评估了在真实博物馆环境中，利用可穿戴相机图像与微调后的卷积神经网络（CNN）识别艺术品的可行性。尽管面临光照、反光和视角变化等挑战，该系统在识别艺术品方面最高达到了51.8%的top-1准确率，其中45.6%的画作、47.8%的钟表和34.1%的雕塑被正确识别。

ABSTRACT

Recommendation systems based on image recognition could prove a vital tool in enhancing the experience of museum audiences. However, for practical systems utilizing wearable cameras, a number of challenges exist which affect the quality of image recognition. In this pilot study, we focus on recognition of museum collections by using a wearable camera in three different museum spaces. We discuss the application of wearable cameras, and the practical and technical challenges in devising a robust system that can recognize artworks viewed by the visitors to create a detailed record of their visit. Specifically, to illustrate the impact of different kinds of museum spaces on image recognition, we collect three training datasets of museum exhibits containing variety of paintings, clocks, and sculptures. Subsequently, we equip selected visitors with wearable cameras to capture artworks viewed by them as they stroll along exhibitions. We use Convolutional Neural Networks (CNN) which are pre-trained on the ImageNet dataset and fine-tuned on each of the training sets for the purpose of artwork identification. In the testing stage, we use CNNs to identify artworks captured by the visitors with a wearable camera. We analyze the accuracy of their recognition and provide an insight into the applicability of such a system to further engage audiences with museum exhibitions.

研究动机与目标

• 调查可穿戴相机在真实博物馆参观过程中捕捉并识别艺术品的实用性。
• 评估不同博物馆环境——平面画作、反光钟表和非平面雕塑——对图像识别准确率的影响。
• 评估微调后的预训练CNN在从‘野外’可穿戴相机图像中识别艺术品方面的性能。
• 理解现成深度学习模型在真实博物馆环境中应用的局限性，并识别关键挑战。

提出的方法

• 从三个不同的博物馆空间收集了非遮挡艺术品图像的训练数据集：深圳艺术博物馆的画作、故宫博物院的钟表以及第三处场馆的雕塑。
• 为参观者配备可穿戴相机，记录其在展览中自然行走时拍摄的艺术品图像，以模拟真实用户行为。
• 针对每个数据集对预训练的ImageNet CNN进行微调，以适应特定的艺术品类别。
• 使用来自不同参观者的多个测试划分，通过top-1和top-k准确率指标评估识别性能。
• 分析光照、反光、遮挡、视角变化和背景杂乱等环境因素对识别结果的影响。
• 利用真实标签标注验证识别结果，涵盖单张图像中同时可见多件艺术品的情况。

实验结果

研究问题

• RQ1 微调后的CNN在真实博物馆环境中，能否准确识别可穿戴相机拍摄的艺术品？
• RQ2 不同类型的博物馆艺术品——平面画作、反光钟表和非平面雕塑——如何影响识别性能？
• RQ3 光照、反光和视角变化等环境因素在多大程度上降低识别准确率？
• RQ4 识别性能在相同展览空间中不同参观者及其行走模式下如何变化？
• RQ5 基于可穿戴相机的系统能否可靠地识别艺术品，以支持个性化博物馆体验或推荐系统？

主要发现

• 在表现最佳的测试划分中，系统达到了51.8%的top-1准确率，表明在理想条件下超过一半的拍摄图像被正确识别。
• 画作识别准确率为45.6%，钟表为47.8%，雕塑仅为34.1%，凸显了识别非平面及杂乱艺术品的更大难度。
• 识别性能在不同参观者之间存在显著差异，测试划分间的标准差最高达±6.7%，表明用户行为导致的识别不一致性。
• 尽管钟表展区环境更暗且更拥挤，其数据集的top-1准确率（40.9%）仍高于雕塑数据集（30.7%），表明近距离拍摄有助于提升识别效果。
• 当top-k从top-1提升至top-10时，准确率最高提升3.3%，表明多个合理预测可增强系统的鲁棒性。
• 研究发现，现成的微调方法不足以实现稳健的识别，需采用定制化模型或领域自适应技术以提升性能。