[論文レビュー] A Discriminative CNN Video Representation for Event Detection

Zhongwen Xu, Yi Yang+1 more|arXiv (Cornell University)|Nov 14, 2014

Human Pose and Action Recognition参考文献 36被引用数 29

ひとこと要約

本論文は、標準的なプーリングの代わりに潜在的コンセプト記述子と高度な符号化手法を用いることで、最先端の手法を上回る性能を達成する判別的CNN動画表現を提案する。TRECVID MEDTest 13では44.6% mAP、MEDTest 14では36.8%を達成し、改善済みDense Trajectoriesや既存のCNNベースラインを大きく上回る。同時に、製品量子化による圧縮により効率的な推論が可能となる。

ABSTRACT

In this paper, we propose a discriminative video representation for event detection over a large scale video dataset when only limited hardware resources are available. The focus of this paper is to effectively leverage deep Convolutional Neural Networks (CNNs) to advance event detection, where only frame level static descriptors can be extracted by the existing CNN toolkit. This paper makes two contributions to the inference of CNN video representation. First, while average pooling and max pooling have long been the standard approaches to aggregating frame level static features, we show that performance can be significantly improved by taking advantage of an appropriate encoding method. Second, we propose using a set of latent concept descriptors as the frame descriptor, which enriches visual information while keeping it computationally affordable. The integration of the two contributions results in a new state-of-the-art performance in event detection over the largest video datasets. Compared to improved Dense Trajectories, which has been recognized as the best video representation for event detection, our new representation improves the Mean Average Precision (mAP) from 27.6% to 36.8% for the TRECVID MEDTest 14 dataset and from 34.0% to 44.6% for the TRECVID MEDTest 13 dataset. This work is the core part of the winning solution of our CMU-Informedia team in TRECVID MED 2014 competition.

研究の動機と目的

• TRECVID MEDTest 14の20万本の動画を含む大規模な動画データセットにおいて、改善済みDense Trajectories（IDT）を抽出する際の高い計算コストに対処すること。
• 画像タスクにおける速度と精度に優れるが、動画タスクでは手作業特徴量（例：IDT）に比べて性能が劣る標準的なCNN動画表現の限界を克服すること。
• 計算コストが低く、かつ高い判別力を備えた動画表現を開発し、限られたハードウェアリソースを有する小規模な研究グループでも利用可能なものとする。
• CNNベースの動画特徴量を製品量子化で圧縮することで、性能を損なわせずに高速な推論とスケーラブルな展開を実現すること。

提案手法

• 標準的な平均プーリングや最大プーリングの代わりに、学習された符号化手法（具体的には、製品量子化を用いたVLAD）を用いてフレームレベルのCNN記述子を統合し、判別力の高い動画レベル表現を生成する。
• フレームレベルのCNN特徴量として潜在的コンセプト記述子を導入し、視覚的意味を豊かにしながらも、計算コストを抑えつつ効率を維持する。
• 複数のCNN層（例：fc6, fc7, SPP）のラテントフェージョンを統合することで、補完的な表現を組み合わせ、耐性を向上させる。
• 符号化済みの動画特徴量を製品量子化（PQ）で圧縮し、ストレージを48.8 GBから1 GB未満に削減し、予測時のI/Oを高速化する。
• ImageNetで事前学習された重みを用いた転移学習によりCNNモデルを訓練し、フレームレベルの監視信号を用いて微調整する。
• IDTやMFCCなどの複数の表現（例：IDTとMFCC）のラテントフェージョンを統合することで、相補性を示し、性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 単一マシンでの計算に限定された条件下で、CNNベースの動画表現が改善済みDense Trajectoriesのような手作業特徴量を上回ることができるか？
• RQ2 標準的なプーリングの代わりに学習された符号化手法（例：VLAD）を用いることで、CNNベースの動画表現の判別力が顕著に向上するか？
• RQ3 潜在的コンセプト記述子を用いることで、計算コストを増加させることなく、フレームレベルのCNN特徴量の質を向上させることができるか？
• RQ4 製品量子化を用いることで、大規模データセットにおける高速な推論を実現するにあたり、どの程度動画表現を圧縮できるか？
• RQ5 複数のCNN層やモodal（例：音声、動き）を統合するラテントフェージョン統合は、全体のイベント検出精度をどの程度向上させるか？

主な発見

• 提案手法はTRECVID MEDTest 13で44.6% mAP、MEDTest 14で36.8%を達成し、それぞれ改善済みDense Trajectories（IDT）に対して31.2%および33.3%の相対的向上を示した。
• 10Ex設定では、MEDTest 13で29.8% mAP、MEDTest 14で24.5% mAPを達成し、IDTと比較してそれぞれ65.6%および76.3%の相対的向上を示した。
• 潜在的コンセプト記述子と学習された符号化（VLAD）を用いることで、標準的な平均プーリングに比べて顕著に優れた性能を発揮し、MEDTest 13と14ではそれぞれ32.7%と24.8% mAPにとどまった。
• 製品量子化により、200,000本の動画からなるMEDTest 14の全データセットを20スレッドで1イベントあたりたった4.1秒で推論可能となり、高い効率性を実証した。
• 複数のCNN層（fc6, fc7, SPP）とモダリティ（例：IDTとMFCC）のラテントフェージョン統合により、100Exでは48.6% mAP、10Exでは32.2% mAPを達成し、上位のコンpetitionシステムを上回った。
• 本手法は異なる学習条件に対しても頑健であり、スケーラビリティに優れ、10種類以上の特徴量を統合したシステムでさえも上回る最先端の性能を達成した。