[論文レビュー] The ImageNet Shuffle: Reorganized Pre-training for Video Event Detection

Pascal Mettes, D.C. Koelma+1 more|UvA-DARE (University of Amsterdam)|Feb 23, 2016

Multimodal Machine Learning Applications参考文献 27被引用数 72

ひとこと要約

本論文は、21,814クラスおよび1,400万枚の画像を含む完全なImageNet階層を、下位から上位への統合戦略と上位から下位への統合戦略を用いて、バランスの取れた汎用的カテゴリに再編成することで、動画イベント検出の性能向上を提案する。これらの再編成された階層で深層ネットワークを事前学習させることで、TRECVID 2013および2015ベンチマークで最先端の性能を達成し、標準的なImageNet事前学習を上回り、動きと音声特徴との優れた融合を可能にする。

ABSTRACT

This paper strives for video event detection using a representation learned from deep convolutional neural networks. Different from the leading approaches, who all learn from the 1,000 classes defined in the ImageNet Large Scale Visual Recognition Challenge, we investigate how to leverage the complete ImageNet hierarchy for pre-training deep networks. To deal with the problems of over-specific classes and classes with few images, we introduce a bottom-up and top-down approach for reorganization of the ImageNet hierarchy based on all its 21,814 classes and more than 14 million images. Experiments on the TRECVID Multimedia Event Detection 2013 and 2015 datasets show that video representations derived from the layers of a deep neural network pre-trained with our reorganized hierarchy i) improves over standard pre-training, ii) is complementary among different reorganizations, iii) maintains the benefits of fusion with other modalities, and iv) leads to state-of-the-art event detection results. The reorganized hierarchies and their derived Caffe models are publicly available at http://tinyurl.com/imagenetshuffle.

研究の動機と目的

• 標準的な1,000クラスのサブセットではなく、完全なImageNet階層を活用することで、動画イベント検出の性能向上を図ること。
• ImageNetの21,814クラスにおけるクラスの不均衡と過度に具体的な分類が、効果的な事前学習を妨げる問題を解決すること。
• ImageNet階層のグラフ構造に基づいて、下位から上位への統合と上位から下位への統合という2つの補完的戦略を考案・評価すること。
• 再編成された事前学習から得られる表現が、標準的な事前学習を上回り、マルチモーダル融合を強化できることを示すこと。

提案手法

• ImageNet階層の葉ノードから始めて、低レベルで過度に具体的なクラスをより広範な汎用的カテゴリに統合する下位から上位へのアプローチを提案する。
• 階層の上位から汎用的な高レベルクラスを選択し、それらを拡張することでバランスの取れたカテゴリを形成する上位から下位へのアプローチを開発する。
• 再編成されたクラスセットを用いて、標準的な1,000クラスのサブセットではなく、完全なImageNetデータセット上で深層畳み込みニューラルネットワーク（例：AlexNet）を事前学習する。
• 事前学習済みネットワークの最終全結合層またはソフトマックス層から、フレームレベルの特徴を抽出する。
• 平均プーリングを用いてフレーム特徴を統合し、固定サイズの動画表現を形成する。
• 動き（MBH）と音声（MFCC）特徴との融合にはFisher Vector符号化を用い、比較のためのベースラインとして平均プーリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 完全なImageNet階層（21,814クラス、1,400万枚の画像）を標準的な1,000クラスのサブセットではなく活用することで、動画イベント検出の性能が向上するか？
• RQ2 ImageNet階層の下位から上位への統合戦略と上位から下位への統合戦略が、事前学習の品質および下流の検出性能に与える影響は何か？
• RQ3 再編成された事前学習から得られる表現は、動きと音声特徴と融合しても依然として補完的であるか？
• RQ4 再編成された事前学習は、TRECVID 2013および2015のような標準ベンチマークで最先端の性能を達成できるか？

主な発見

• TRECVID 2013のテストセットにおいて、本手法は深層特徴のみを用いて、1イベントあたり100枚の動画を含むタスクでmAP 0.475、10枚の動画を含むタスクでmAP 0.324を達成した。
• 動きと音声特徴を融合した場合、100枚の動画を含むタスクでmAP 0.526、10枚の動画を含むタスクでmAP 0.348を達成し、両タスクともにすべての先行最先端手法を上回った。
• TRECVID 2015ベンチマークでは、本手法は全タスクで上位のパフォーマンスを示し、深層特徴およびマルチモーダル融合の両方でトップクラスの結果を達成した。
• 再編成された事前学習アプローチは他のモodalと補完的であることが判明した：動きと音声特徴は個別では深層特徴を上回ったが、深層特徴と融合させることで最高の性能が得られた。
• 事前学習済みのCaffeモデルと特徴抽出の手順は、http://tinyurl.com/imagenetshuffle で公開されており、最先端の動画表現学習の直接再利用が可能である。