[論文レビュー] Artwork Identification from Wearable Camera Images for Enhancing Experience of Museum Audiences

Rui Zhang, Yusuf Tas+1 more|arXiv (Cornell University)|Jun 24, 2018

Advanced Image and Video Retrieval Techniques参考文献 11被引用数 10

ひとこと要約

本研究では、ウェアラブルカメラの画像と微調整された畳み込みニューラルネットワーク（CNN）を用いて、実際の美術館環境で美術品を識別する可能性を評価する。明るさ、反射、視点の変化といった課題にもかかわらず、システムは美術品の識別で最高で51.8％のトップ1精度を達成し、絵画では45.6％、時計では47.8％、彫刻では34.1％の正確な識別が行われた。

ABSTRACT

Recommendation systems based on image recognition could prove a vital tool in enhancing the experience of museum audiences. However, for practical systems utilizing wearable cameras, a number of challenges exist which affect the quality of image recognition. In this pilot study, we focus on recognition of museum collections by using a wearable camera in three different museum spaces. We discuss the application of wearable cameras, and the practical and technical challenges in devising a robust system that can recognize artworks viewed by the visitors to create a detailed record of their visit. Specifically, to illustrate the impact of different kinds of museum spaces on image recognition, we collect three training datasets of museum exhibits containing variety of paintings, clocks, and sculptures. Subsequently, we equip selected visitors with wearable cameras to capture artworks viewed by them as they stroll along exhibitions. We use Convolutional Neural Networks (CNN) which are pre-trained on the ImageNet dataset and fine-tuned on each of the training sets for the purpose of artwork identification. In the testing stage, we use CNNs to identify artworks captured by the visitors with a wearable camera. We analyze the accuracy of their recognition and provide an insight into the applicability of such a system to further engage audiences with museum exhibitions.

研究の動機と目的

• ウェアラブルカメラを用いた実際の美術館訪問における美術品の撮影と識別可能性を調査すること。
• 平面的な絵画、反射性の高い時計、非平面的な彫刻といった多様な美術館環境が、画像認識精度に与える影響を評価すること。
• ウェアラブルカメラで撮影された「現実世界」の画像から美術品を識別するための微調整済み事前学習済みCNNの性能を評価すること。
• 実際の美術館環境における市販の深層学習モデルの限界を理解し、主な課題を同定すること。

提案手法

• 大連美術館の絵画、故宮博物院の時計、および第三の会場での彫刻の、遮蔽のない美術品の画像を収集し、訓練データセットを構築した。
• 訪問者にウェアラブルカメラを装着させ、展示物を自然に散策する中で美術品の画像を撮影することで、実際のユーザー行動を模擬した。
• 各データセットに対して事前学習済みImageNet CNNを微調整し、特定の美術品カテゴリに適応させた。
• 複数の異なる訪問者からのテストスプリットを用いて、トップ1およびトップkの精度指標を用いて認識性能を評価した。
• 明るさ、反射、遮蔽、視点の変化、背景のごみの影響といった環境要因が認識結果に与える影響を分析した。
• 正解ラベルのアノテーションを用いて認識結果を検証し、1枚の画像に複数の美術品が写っている場合のケースに対応した。

実験結果

リサーチクエスチョン

• RQ1 ウェアラブルカメラで撮影された実際の美術館環境における美術品を、微調整済みCNNがどれほど正確に識別できるか。
• RQ2 平面的絵画、反射性の高い時計、非平面的彫刻といった異なる種類の美術品が、認識性能にどのように影響を与えるか。
• RQ3 明るさ、反射、視点の変化といった環境要因が、認識精度をどの程度低下させるか。
• RQ4 同じ展示空間内で、異なる訪問者やその歩行パターンによって認識性能はどのように変動するか。
• RQ5 ウェアラブルカメラベースのシステムは、パーソナライズドな美術館体験やレコメンデーションシステムを支援するために信頼性を持って美術品を識別できるか。

主な発見

• 最良のテストスプリットではトップ1精度が51.8％に達し、最適な条件下で撮影された画像の半数以上が正しく識別されたことが示された。
• 絵画は45.6％、時計は47.8％、彫刻は34.1％の認識精度であった。非平面的でごみの多い美術品の識別が特に困難であることが浮き彫りになった。
• 訪問者間での認識性能に顕著な差が認められ、テストスプリットごとの標準偏差が最大で±6.7％に達した。これは、ユーザー行動に応じた一貫性のない認識性能を示している。
• 時計データセットは暗く混雑した環境にあったにもかかわらず、彫刻データセットよりも高い精度（トップ1で40.9％）を示した。これは、クローズアップの視点が認識を向上させた可能性を示している。
• トップ10精度はトップ1からトップ10に拡張することで最大3.3％向上した。複数の妥当な予測が可能であることで、システムの耐障害性が向上することが示された。
• 本研究では、市販の微調整手法だけでは堅牢な認識が不十分であり、性能向上のためにはカスタマイズされたモデルやドメイン適応技術の導入が必要であることが明らかになった。