[論文レビュー] EXMOVES: Classifier-based Features for Scalable Action Recognition

Du Tran, Lorenzo Torresani|arXiv (Cornell University)|Dec 20, 2013

Human Pose and Action Recognition参考文献 25被引用数 7

ひとこと要約

本論文では、1つの陽性ビデオクリップと多数の陰性ビデオから学習された exemplar-SVM を用いて得られる分類器ベースのミドルレベル特徴量を用いる、スケーラブルな動画行動認識フレームワークである EXMOVES を提案する。テンプレートマッチングに代えてこれらの特徴量上で高速な線形分類を実行することで、EXMOVES は HMDB51 および Hollywood-2 で最先端の精度を達成するとともに、推論コストを桁違いに低減し、大規模な動画データベースにおける効率的な認識を可能にする。

ABSTRACT

This paper introduces EXMOVES, learned exemplar-based features for efficient recognition of actions in videos. The entries in our descriptor are produced by evaluating a set of movement classifiers over spatial-temporal volumes of the input sequence. Each movement classifier is a simple exemplar-SVM trained on low-level features, i.e., an SVM learned using a single annotated positive space-time volume and a large number of unannotated videos. Our representation offers two main advantages. First, since our mid-level features are learned from individual video exemplars, they require minimal amount of supervision. Second, we show that simple linear classification models trained on our global video descriptor yield action recognition accuracy approaching the state-of-the-art but at orders of magnitude lower cost, since at test-time no sliding window is necessary and linear models are efficient to train and test. This enables scalable action recognition, i.e., efficient classification of a large number of different actions even in large video databases. We show the generality of our approach by building our mid-level descriptors from two different low-level feature representations. The accuracy and efficiency of the approach are demonstrated on several large-scale action recognition benchmarks.

研究の動機と目的

• 大規模で制約のない動画データベースを扱えるが、クラス内変動が著しいスケーラブルな行動認識システムの不足を解消すること。
• 高精度を維持しつつ、動画行動認識における学習および推論コストを低減すること。
• 最小限の人的監視で済み、効率的な線形分類を可能にするミドルレベルの動画表現を開発すること。
• 従来の手法（例：Action Bank）と比較して計算オーバーヘッドを著しく低減することで、行動認識の大規模な展開を可能にすること。

提案手法

• EXMOVES は、空間的・時間的ビデオボリューム上で複数の動き分類器（例示-SVM）を評価することで、グローバルなビデオ記述子を構築する。
• 各例示-SVM は、1つのアノテーション付き陽性ビデオクリップと多数のアノテーションなし陰性ビデオを用いて学習され、HOG-HOF-STIP や密トラジェクトリなどの低レベル特徴量が使用される。
• 記述子のエントリは、学習済みの例示と類似する動きパターンの存在を表し、意味的に豊富なミドルレベル表現を形成する。
• その後、全記述子ベクトル上で線形SVMを学習することで、行動分類を実現し、高速な学習および推論を可能にする。
• 再帰的特徴削除による特徴選択により、最も識別能の高い例示が特定され、わずか100個の例示でも最先端の性能をほぼ維持することが示された。
• 本手法は低レベル特徴量の種別に依存しないため、密トラジェクトリのような高度な特徴量とも統合可能である。

実験結果

リサーチクエスチョン

• RQ1 例示-SVM に基づくミドルレベルの動画表現は、最小限の監視で最先端の行動認識精度を達成できるか？
• RQ2 特に大規模な設定下において、EXMOVES の計算コストは、Action Bank のような従来手法と比較してどの程度低いのか？
• RQ3 EXMOVES で学習された線形分類器は、非線形モデルや直接的な低レベル特徴量学習と比較して、どの程度優れた性能を示すのか？
• RQ4 高い精度を維持するには、例示ベースの特徴量をいくつ必要とするのか？また、特徴量集合の冗長構造はいかなるものか？

主な発見

• HMDB51 データセットにおいて、同じ密トラジェクトリ特徴量を使用した場合、EXMOVES は Action Bank よりも 41.6% の相対的精度向上を達成した。
• HMDB51 の1クラスについて線形SVMをEXMOVESで学習するにはわずか 6.2 秒で済み、BOW の密トラジェクトリ特徴量を用いた非線形SVMの 25 分と比較して 250 倍速い学習時間であった。
• EXMOVES で線形SVMをテストするには1動画あたりわずか 7 ミリ秒で済み、サポートベクトルに依存する非線形SVMと比べて2桁以上も高速であった。
• UT-I データセット全体の EXMOVES 特徴抽出に単一CPUを用いた場合、14 時間で完了したが、Action Bank では 41 日以上を要した。
• わずか 100 個の例示でも、EXMOVES は最先端の性能に近い精度を維持しており、50 個未満になると顕著な低下が見られた。
• 本手法は低レベル特徴量の種別にかかわらず汎用的であり、HOG-HOF-STIP や密トラジェクトリの両方で強力な性能を示した。