[논문 리뷰] Artwork Identification from Wearable Camera Images for Enhancing Experience of Museum Audiences

Rui Zhang, Yusuf Tas외 1명|arXiv (Cornell University)|2018. 06. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 11인용 수 10

한 줄 요약

이 연구는 실생활 박물관 환경에서 웨어러블 카메라 이미지와 최적화된 컨volutional 신경망(CNNs)을 사용하여 예술 작품을 식별하는 데의 가능성을 평가한다. 조명, 반사, 시야각 변화 등의 도전 과제가 존재하지만, 시스템은 최대 51.8%의 top-1 정확도를 기록했으며, 그 중 그림은 45.6%, 시계는 47.8%, 조각은 34.1%가 정확하게 식별되었다.

ABSTRACT

Recommendation systems based on image recognition could prove a vital tool in enhancing the experience of museum audiences. However, for practical systems utilizing wearable cameras, a number of challenges exist which affect the quality of image recognition. In this pilot study, we focus on recognition of museum collections by using a wearable camera in three different museum spaces. We discuss the application of wearable cameras, and the practical and technical challenges in devising a robust system that can recognize artworks viewed by the visitors to create a detailed record of their visit. Specifically, to illustrate the impact of different kinds of museum spaces on image recognition, we collect three training datasets of museum exhibits containing variety of paintings, clocks, and sculptures. Subsequently, we equip selected visitors with wearable cameras to capture artworks viewed by them as they stroll along exhibitions. We use Convolutional Neural Networks (CNN) which are pre-trained on the ImageNet dataset and fine-tuned on each of the training sets for the purpose of artwork identification. In the testing stage, we use CNNs to identify artworks captured by the visitors with a wearable camera. We analyze the accuracy of their recognition and provide an insight into the applicability of such a system to further engage audiences with museum exhibitions.

연구 동기 및 목표

• 실제 박물관 방문 중 웨어러블 카메라를 활용해 예술 작품을 촬영하고 식별하는 데의 실용성을 조사하기 위해.
• 평면 그림, 반사성 시계, 비평면 조각 등 다양한 박물관 환경이 이미지 식별 정확도에 미치는 영향을 평가하기 위해.
• 웨어러블 카메라에서 촬영한 '실세계' 이미지에서 예술 작품을 식별하는 데 최적화된 사전 학습된 CNN의 성능을 평가하기 위해.
• 실생활 박물관 환경에서 상용 딥러닝 모델의 한계를 이해하고 주요 과제를 특정하기 위해.

제안 방법

• 선명하고 가림이 없는 예술 작품의 이미지 데이터셋을 세 가지 별도의 박물관 공간에서 수집: 샤먼 예술박물관의 그림, 자금성 박물관의 시계, 제3의 장소의 조각.
• 방문객들에게 웨어러블 카메라를 착용시켜 전시회를 자연스럽게 산책하는 동안 예술 작품의 이미지를 촬영하여 실제 사용자 행동을 시뮬레이션함.
• 각 세 가지 데이터셋에 대해 사전 학습된 ImageNet CNN을 최적화하여 특정 예술 작품 유형에 맞게 모델을 적응시킴.
• 다양한 방문객으로부터의 여러 테스트 분할을 통해 top-1 및 top-k 정확도 지표를 사용해 식별 성능을 평가함.
• 조명, 반사, 가림, 시야각 변화, 배경 혼잡도 등의 환경적 요인이 식별 결과에 미치는 영향을 분석함.
• 정답 레이블을 사용해 식별 결과를 검증하였으며, 한 장의 이미지에 여러 예술 작품이 동시에 보이는 경우를 고려함.

실험 결과

연구 질문

• RQ1 웨어러블 카메라로 촬영한 실생활 박물관 환경의 예술 작품을 최적화된 CNN이 얼마나 정확하게 식별할 수 있는가?
• RQ2 평면 그림, 반사성 시계, 비평면 조각 등 다양한 유형의 박물관 예술 작품이 식별 성능에 어떻게 영향을 미치는가?
• RQ3 조명, 반사, 시야각 변화 등의 환경적 요인이 식별 정확도를 얼마나 떨어뜨리는가?
• RQ4 동일한 전시 공간 내에서 다양한 방문객과 그들의 산책 패턴에 따라 식별 성능는 어떻게 달라지는가?
• RQ5 웨어러블 카메라 기반 시스템이 개인 맞춤형 박물관 경험 또는 추천 시스템을 지원하는 데 신뢰성 있게 예술 작품을 식별할 수 있는가?

주요 결과

• 최적의 테스트 분할에서 시스템은 top-1 정확도 51.8%를 기록하여, 최적 조건에서 촬영된 이미지의 절반 이상이 정확하게 식별됨을 시사함.
• 그림은 45.6%의 정확도로 식별되었고, 시계는 47.8%, 조각은 단지 34.1%로, 비평면적이고 혼잡한 예술 작품의 식별이 더 어려운 것으로 나타남.
• 식별 성능는 방문객 간에 크게 달라졌으며, 테스트 분할 간 표준편차가 최대 ±6.7%에 이르러 사용자 행동에 따라 일관되지 않은 식별 성능를 보임.
• 어두운 환경이지만 혼잡한 환경에 있음에도 불구하고, 시계 데이터셋은 조각 데이터셋보다 높은 정확도(40.9% top-1)를 기록함으로써, 근접한 촬영 뷰가 식별에 유리함을 시사함.
• top-1에서 top-10으로 증가함에 따라 정확도가 최대 3.3% 향상되어, 다수의 타당한 예측이 시스템의 내구성을 높일 수 있음을 시사함.
• 이 연구는 상용 최적화 기법만으로는 강력한 식별 성능를 확보하기에 부족하며, 향상된 성능를 위해 맞춤형 모델 또는 도메인 적응 기법이 필요함을 밝혀냄.