[論文レビュー] Sympathy for the Details: Dense Trajectories and Hybrid Classification Architectures for Action Recognition

César Roberto de Souza, Adrien Gaidon+2 more|arXiv (Cornell University)|Aug 25, 2016

Human Pose and Action Recognition参考文献 54被引用数 7

ひとこと要約

本論文は、手作業で作成された密集トラジェクトリとフィッシャー・ベクトル符号化、および深層ニューラルネットワークを組み合わせたハイブリッド動画行動認識アーキテクチャを提案し、高効率なデータ利用で最先端の性能を達成した。特徴の正規化、時空間的構造、および特徴レベルのデータ拡張を丁寧に設計することで、数百万枚の画像で訓練された大規模なエンドツーエンドの深層学習モデルを上回る性能を発揮した。

ABSTRACT

Action recognition in videos is a challenging task due to the complexity of the spatio-temporal patterns to model and the difficulty to acquire and learn on large quantities of video data. Deep learning, although a breakthrough for image classification and showing promise for videos, has still not clearly superseded action recognition methods using hand-crafted features, even when training on massive datasets. In this paper, we introduce hybrid video classification architectures based on carefully designed unsupervised representations of hand-crafted spatio-temporal features classified by supervised deep networks. As we show in our experiments on five popular benchmarks for action recognition, our hybrid model combines the best of both worlds: it is data efficient (trained on 150 to 10000 short clips) and yet improves significantly on the state of the art, including recent deep models trained on millions of manually labelled images and videos.

研究の動機と目的

• 深層学習モデルが膨大な手動アノテーション付きデータセットを必要とする動画行動認識におけるデータ効率の課題に対処すること。
• 純粋に手作業で作成された特徴の限界を克服し、深層学習と統合することで、より高いロバスト性とモデリング能力を向上させること。
• 教師あり表現学習（フィッシャー・ベクトル）と教師あり深層ネットワークを活用するハイブリッドアーキテクチャを設計し、性能を向上させること。
• 低レベル特徴と訓練手順の洗練された設計が、複雑なエンドツーエンドの深層モデルを上回ることを実証すること。
• UCF-101、HMDB-51、Hollywood2、High-Five、Olympicsの複数のベンチマークで、最小限の学習データ（150〜10,000枚の短い動画クリップ）で最先端の性能を達成すること。

提案手法

• 動画フレームとオプティカルフローから密集トラジェクトリを抽出し、RootSIFT正規化とPCAを用いて低レベル記述子を形成する。
• 記述子をフィッシャー・ベクトル（FV）符号化し、空間的および時間的集約を経て動画レベルの表現に変換する。
• FV表現に平方根およびℓ₂正規化を適用し、チャネル間の特徴を連結して再正規化する。
• バッチ正規化、ReLU、ドロップアウトを備えた教師あり次元削減層を導入し、コンactな判別的特徴を学習する。
• 最終的な全結合層にソフトマックス（多クラス）またはシグモイド（多ラベル）活性化関数を適用し、行動予測を行う。
• サンプルの複製ではなく、特徴のスタックを用いた特徴レベルのデータ拡張を導入し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 手作業で作成された時空間的特徴と深層学習を組み合わせたハイブリッドアーキテクチャは、より少ない学習データでエンドツーエンドの深層モデルを上回る性能を達成できるか？
• RQ2 正規化、時空間的構造、特徴レベルの拡張といった洗練された設計選択が、行動認識の正確性にどのように影響するか？
• RQ3 ハイブリッドパイプラインにおける教師あり次元削減は、無教師または削減なしの状況と比較して性能を向上させるか？
• RQ4 150〜10,000枚のクリップでのみ学習したモデルが、数百万枚の画像や動画で学習したモデルを上回れるか？
• RQ5 最適な設計意思決定は、多様な行動認識ベンチマークにわたってどの程度一般化可能か？

主な発見

• 提案されたハイブリッドモデルはUCF-101で92.5％の平均正答率を達成し、以前の最先端（91.5％）を上回り、ImageNet や Sports-1M で学習したモデルをも凌駕した。
• HMDB-51では70.4％の平均正答率を達成し、FV-SVMを用いた既存の最先端（66.8％）およびTDD（65.9％）を顕著に上回った。
• High-Fiveデータセットでは76.7％のmAP+を達成し、FV-SVMを用いた以前の最高（71.1％）を上回った。
• FV-SVMベースライン単体でもUCF-101で90.6％、HMDB-51で67.8％を達成し、深層学習なしでも強力な性能を示した。
• FV-SVMベースラインと比較して、UCF-101で1.9％、HMDB-51で2.6％の向上を達成し、深層特徴学習の利点を裏付けた。
• UCF-101、HMDB-51、Hollywood2、High-Five、Olympicsのベンチマークにわたり、モデルは良好な一般化性能を示し、一貫した性能向上を達成した。