[論文レビュー] Cultural Event Recognition with Visual ConvNets and Temporal Models

Amaia Salvador, Matthias Zeppelzauer+3 more|arXiv (Cornell University)|Apr 24, 2015

Advanced Image and Video Retrieval Techniques参考文献 21被引用数 10

ひとこと要約

本論文は、微調整済みおよび微調整未実施の CaffeNet レイヤーからの視覚的特徴を時間的モデリングと組み合わせるラテント融合アプローチを提案し、写真における文化的イベント認識を向上させる。タイムスタンプ分布を用いてSVMベースの予測を時間的リファインメントすることで、ChaLearn 2015 テストセット上で平均平均精度（mAP）0.767を達成し、7件の提出の中では2位となった。

ABSTRACT

This paper presents our contribution to the ChaLearn Challenge 2015 on Cultural Event Classification. The challenge in this task is to automatically classify images from 50 different cultural events. Our solution is based on the combination of visual features extracted from convolutional neural networks with temporal information using a hierarchical classifier scheme. We extract visual features from the last three fully connected layers of both CaffeNet (pretrained with ImageNet) and our fine tuned version for the ChaLearn challenge. We propose a late fusion strategy that trains a separate low-level SVM on each of the extracted neural codes. The class predictions of the low-level SVMs form the input to a higher level SVM, which gives the final event scores. We achieve our best result by adding a temporal refinement step into our classification scheme, which is applied directly to the output of each low-level SVM. Our approach penalizes high classification scores based on visual features when their time stamp does not match well an event-specific temporal distribution learned from the training and validation data. Our system achieved the second best result in the ChaLearn Challenge 2015 on Cultural Event Classification with a mean average precision of 0.767 on the test set.

研究の動機と目的

• スパarsな意味的メタデータが与えられたもとで、視覚的および時間的手がかりを用いて写真における文化的イベント認識の課題に取り組むこと。
• 深層視覚的特徴が文化的に重要なイベントの意味的本質を効果的に表現できるかどうかを調査すること。
• 写真のタイムスタンプから導出される時間的パターンを統合することで、分類のロバスト性を向上させること。
• Flickr画像を用いたデータ拡張が、モデルの一般化性能に与える影響を評価すること。
• 複数層のCNN特徴と時間的制約を統合する階層的分類フレームワークを開発すること。

提案手法

• 微調整済みおよび微調整未実施の CaffeNet モデルの最後の3つの全結合層（FC6、FC7、FC8）から視覚的特徴を抽出する。
• 50個の文化的イベントの分類に、確率的出力を用いた各ニューラルコードに対して個別に線形SVMを学習する。
• 低レベルのSVMからの予測を統合し、高レベルのSVMを用いて最終的なイベントスコアを生成する。
• 訓練／検証データから、写真のタイムスタンプのスプラインベースモデリングを用いて、イベント固有の時間的分布を学習する。
• 学習済みイベント固有の時間的パターンから逸脱するタイムスタンプに対して、高信頼度の予測をペナルティ化することで、時間的リファインメントを適用する。
• 類似度スコアが高いかつFlickr画像を用いて訓練データを拡張するが、これにより性能が低下した。

実験結果

リサーチクエスチョン

• RQ1 微調整済みおよび微調整未実施のCNNからの深層視覚的特徴は、文化的イベントの意味的コンテンツを効果的に表現できるか？
• RQ2 豊富な意味的アノテーションが欠如している状況下で、時間的メタデータは文化的イベント認識の精度をどの程度向上させるか？
• RQ3 この文脈において、多層CNN特徴のラテント統合は、単層または早期統合戦略と比較してどのように異なるか？
• RQ4 Flickrからクロールした画像を用いたデータ拡張は、ChaLearnデータセットにおけるモデルの一般化性能を向上させるか？
• RQ5 スプラインベースの時間的モデリングは、視覚ベースの予測を効果的にリファインメントし、イベント分類のノイズを低減できるか？

主な発見

• 最良の設定で、ChaLearn 2015 テストセット上で平均平均精度（mAP）0.767を達成し、7件の提出の中では2位となった。
• 時間的リファインメントは一貫したが小さな向上をもたらし、最終システムではmAPを0.7357から0.767に向上させた。
• 微調整済みおよび元のCaffeNet特徴（FC6-FC7-FC8）の組み合わせが、微調整済み特徴のみを使用した場合よりも優れた性能を示した。
• 時間的類似度スコアが高いFlickr由来の画像を追加したところ、mAPは0.5821から0.4547に低下し、データセット間のドメインシフトの可能性が示唆された。
• FC6層単体が時間的リファインメントを施した場合、mAPが0.6893と最も高く、FC7やFC8を上回った。
• 本研究は、メタデータが限られたり信頼性が低くても、視覚的特徴が文化的イベントに対して強力な識別能力を有することを強調している。