[論文レビュー] Spatiotemporal Pyramid Network for Video Action Recognition

Yunbo Wang, Mingsheng Long+2 more|arXiv (Cornell University)|Mar 4, 2019

Human Pose and Action Recognition参考文献 37被引用数 4

ひとこと要約

本稿では、コン pact bilinear 結合と時空間注意を用いて、空間的・時間的特徴を階層的に統合する時空間ピラミッドネットワークを提案する。この手法により、動画行動認識の性能が顕著に向上し、UCF101（94.6%）およびHMDB51で最先端の性能を達成した。複数の抽象化レベルにおける特徴を統一損失関数で同時に最適化することで実現された。

ABSTRACT

Two-stream convolutional networks have shown strong performance in video action recognition tasks. The key idea is to learn spatiotemporal features by fusing convolutional networks spatially and temporally. However, it remains unclear how to model the correlations between the spatial and temporal structures at multiple abstraction levels. First, the spatial stream tends to fail if two videos share similar backgrounds. Second, the temporal stream may be fooled if two actions resemble in short snippets, though appear to be distinct in the long term. We propose a novel spatiotemporal pyramid network to fuse the spatial and temporal features in a pyramid structure such that they can reinforce each other. From the architecture perspective, our network constitutes hierarchical fusion strategies which can be trained as a whole using a unified spatiotemporal loss. A series of ablation experiments support the importance of each fusion strategy. From the technical perspective, we introduce the spatiotemporal compact bilinear operator into video analysis tasks. This operator enables efficient training of bilinear fusion operations which can capture full interactions between the spatial and temporal features. Our final network achieves state-of-the-art results on standard video datasets.

研究の動機と目的

• 背景の類似性や短期間の運動の曖昧さにより、2ストリームネットワークの空間的または時間的ストリームが機能を失う問題に対処すること。
• 複数の抽象化レベルにおける階層的統合を通じて、空間的および時間的特徴の相互強化を可能にすること。
• 空間的および時間的特徴間の完全な相互作用を捉えるが、過剰なパラメータを必要としない効率的な統合メカニズムの開発。
• 長期間の時間的文脈と動き誘導型空間的注目を活用することで、動画行動認識における一般化性能と判別力の向上。

提案手法

• ネットワークは3段階の統合レベルを持つピラミッドアーキテクチャを採用：空間的・時間的特徴の初期統合、時空間注意を用いた中間統合、コンパクトバイリニアプーリングによる後期統合。
• 時空間注意は時間的特徴をガイドとして用い、空間的特徴に適用され、動き関連領域を強調し、背景特徴への依存を低減する。
• コンパクトバイリニアプーリングは、空間的および時間的特徴マップ間の全要素間相互作用をモデル化し、標準的なバイリニア統合と比較してパラメータを著しく削減する。
• マルチパス時間的サブネットワークは、長期間にわたる動画シーケンスにおけるオプティカルフローをサンプリングすることで、長距離の動き特徴を抽出し、類似した行動の区別を可能にする。
• 全ネットワークは、時空間損失関数を統一的に用いてエンドツーエンドで訓練され、すべての統合コンponentが同時に最適化される。
• コンパクトバイリニア演算子により、空間的および時間的表現間の複雑なクロスモーダル相関を効率的に捉えることが可能になる。

実験結果

リサーチクエスチョン

• RQ1 単純な後期統合や初期統合を超えて、空間的および時間的特徴の階層的統合が動画行動認識を向上させ得るか？
• RQ2 動き情報が空間的特徴選択をどのように支援し、背景の類似性による誤分類を低減できるか？
• RQ3 長期間の時間的モデリングにより、短いスニペットでは類似しているが時間経過で異なる行動を区別できるか？
• RQ4 コンパクトバイリニア統合は、連結や要素ごとの和よりも、時空間的相互作用を効果的に捉えられるか？
• RQ5 注目メカニズムとマルチスケール時間的モデリングは、動画認識における特徴の判別力向上にどの程度寄与するか？

主な発見

• 提案された時空間ピラミッドネットワークは、UCF101でトップ1正解率94.6%を達成し、以前の最先端（94.0%）を上回り、元の2ストリーム統合（92.5%）よりも優れている。
• HMDB51では最先端の性能を達成し、多様な動画行動カテゴリにわたる頑健性を示した。
• 時空間注目モジュールは、FrontCrawl と BreastStroke のような行動を、動き関連領域に注目することで曖昧さを解消し、背景特徴への依存を低減した。
• マルチパス時間的統合により、短いクリップでは視覚的に類似しているが、長期的な動きパターンで異なるPull-ups と RopeClimbing の区別が可能になった。
• t-SNE可視化により、最終的なピラミッドアーキテクチャが個々のストリームやベースライン統合と比較して、より判別力があり、明確に分離された特徴表現を生成することが確認された。
• アブレーションスタディにより、注目、マルチパス時間的モデリング、コンパクトバイリニア統合の各コンponentが性能向上に顕著な寄与をしていることが検証された。