[論文レビュー] Action Recognition with Coarse-to-Fine Deep Feature Integration and Asynchronous Fusion

Weiyao Lin, Yang Mi+3 more|arXiv (Cornell University)|Nov 20, 2017

Human Pose and Action Recognition参考文献 31被引用数 4

ひとこと要約

本稿では、粗くから細かくまでの深層特徴統合と非同期融合を用いた新規な行動認識フレームワークを提案する。複数の行動クラスの粒度にわたる特徴を学習し、異なる時刻におけるストリームごとの特徴を統合することで、IDT特徴の遅延統合を用いてUCF101（95.2%）およびHMDB51（72.6%）で最先端の性能を達成する。

ABSTRACT

Action recognition is an important yet challenging task in computer vision. In this paper, we propose a novel deep-based framework for action recognition, which improves the recognition accuracy by: 1) deriving more precise features for representing actions, and 2) reducing the asynchrony between different information streams. We first introduce a coarse-to-fine network which extracts shared deep features at different action class granularities and progressively integrates them to obtain a more accurate feature representation for input actions. We further introduce an asynchronous fusion network. It fuses information from different streams by asynchronously integrating stream-wise features at different time points, hence better leveraging the complementary information in different streams. Experimental results on action recognition benchmarks demonstrate that our approach achieves the state-of-the-art performance.

研究の動機と目的

• 複数の行動クラス粒度にわたる表現を学習することで、より正確な特徴を抽出し、行動認識の精度を向上させること。
• マルチストリームネットワークにおける情報ストリーム間の非同期性を低減し、補完的な視覚的および運動的手がかりをより効果的に活用すること。
• 粗くから細かくまでの特徴学習と非同期ストリーム統合を統合した包括的なフレームワークを設計し、識別力の向上を図ること。
• 非常に深いネットワークや追加のストリームに依存せずに、標準ベンチマークで最先端の性能を達成すること。

提案手法

• 段階的に細かくなる行動クラスの粒度から深層特徴を抽出し、階層的に統合することで特徴表現を精緻化する、粗くから細かくまでのネットワークを導入する。
• 入力に依存する動的で行動クラスのグループ化を用いて粒度を定義し、クラス内変動が大きい曖昧な行動の区別を向上させる。
• 異なる時刻に特徴を統合する非同期統合ネットワークを提案し、時間的にずれたパターンを捉える。
• 学習可能な時間的オフセット機構を用いて、外見ストリームと運動ストリームの特徴を異なる時刻に一致させ、補完的信号の利用を最大化する。
• 粗くから細かくまでの特徴学習と非同期統合を統合し、エンド・トゥ・エンドで学習可能なフレームワークを構築する。
• バックボーンネットワークにVGG-16を用い、手作業で作成したIDT特徴と遅延統合することで、さらに性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 複数の行動クラス粒度にわたる特徴の学習は、微細な差異を持つ曖昧な行動の区別を向上させることができるか？
• RQ2 外見ストリームと運動ストリーム間の時間的非同期性が認識性能に与える影響は何か？また、これを効果的にモデル化できるか？
• RQ3 マルチストリーム特徴の非同期統合は、同期的または早期統合戦略に比べて性能を向上させることができるか？
• RQ4 粗くから細かくまでの特徴学習と非同期統合の統合により、より深いネットワークや追加のストリームに依存せずに最先端の結果が得られるか？

主な発見

• 提案されたCO2FI+ASYNフレームワークは、UCF101で94.3%のトップ-1精度、HMDB51で69.0%を達成し、多数の既存手法を上回る。
• IDT特徴と統合した場合、UCF101で95.2%、HMDB51で72.6%を達成し、他のIDT拡張最先端手法を上回る。
• 時間的オフセットΔ=5の非同期統合が最大の性能向上をもたらし、非同時刻のストリームパターンをモデル化することが重要であることを確認した。
• アブレーションスタディの結果、粗くから細かくまでの特徴統合と非同期統合を組み合わせることで、単体の各コンponentよりもさらなる向上が得られることを示した。
• VGG-16バックボーンのみを用いても強力な性能を達成しており、より深いアーキテクチャや追加ストリームがなくても有効であることを示した。
• 図6の可視化により、非同期統合が異なる時刻に特徴のピーク応答を組み合わせることで、正解の行動を正しく特定していることが確認された。