[論文レビュー] Actionness Estimation Using Hybrid Fully Convolutional Networks

Limin Wang, Yu Qiao+2 more|arXiv (Cornell University)|Apr 25, 2016

Human Pose and Action Recognition参考文献 46被引用数 21

ひとこと要約

本稿では、分離された外観（A-FCN）および運動（M-FCN）の完全畳み込みストリームを介して外観と運動の手がかりを統合することで、アクティビティ推定のためのハイブリッド完全畳み込みネットワーク（H-FCN）を提案する。この手法は、Stanford40、UCF Sports、JHMDBで最先端の性能を達成し、1フレームあたり4～10の提案で0.5 IoU閾値における0.9再現率を達成することで、アクティビティプロポーザル生成およびアクティビティ検出を顕著に向上させる。

ABSTRACT

Actionness was introduced to quantify the likelihood of containing a generic action instance at a specific location. Accurate and efficient estimation of actionness is important in video analysis and may benefit other relevant tasks such as action recognition and action detection. This paper presents a new deep architecture for actionness estimation, called hybrid fully convolutional network (H-FCN), which is composed of appearance FCN (A-FCN) and motion FCN (M-FCN). These two FCNs leverage the strong capacity of deep models to estimate actionness maps from the perspectives of static appearance and dynamic motion, respectively. In addition, the fully convolutional nature of H-FCN allows it to efficiently process videos with arbitrary sizes. Experiments are conducted on the challenging datasets of Stanford40, UCF Sports, and JHMDB to verify the effectiveness of H-FCN on actionness estimation, which demonstrate that our method achieves superior performance to previous ones. Moreover, we apply the estimated actionness maps on action proposal generation and action detection. Our actionness maps advance the current state-of-the-art performance of these tasks substantially.

研究の動機と目的

• 動画内のアクティビティを局所化できないアクティビティ分類手法の限界を解決すること。
• スライディングウィンドウアプローチに比べて計算コストの高い方法を避けることで、効率的に高品質なアクティビティプロポーザルを生成することにより、アクティビティ検出を改善すること。
• 任意の入力サイズを扱える完全畳み込みアーキテクチャを用いて、アクティビティ度マップを推定する統合的なディープラーニングフレームワークを開発すること。
• アクティビティ度マップが、アクティビティ検出や認識などの下流タスクの有効な特徴として機能できることを実証すること。

提案手法

• H-FCNアーキテクチャは、2つの完全畳み込みネットワークを組み合わせる。A-FCNはRGBフレームを処理して静的外観特徴を抽出するのに対し、M-FCNは光センサーフィールドを処理して時間的運動ダイナミクスを捉える。
• A-FCNおよびM-FCNは、事前学習済みのImageNetおよびUCF101モデルで初期化され、アクティビティ度推定のためにエンドツーエンドで微調整される。
• A-FCNおよびM-FCNからのアクティビティ度マップが統合され、各空間的位置におけるアクティビティ存在の確信度を示す包括的な信頼度マップが生成される。
• 完全畳み込みアーキテクチャのおかげで、固定された入力サイズの制約なしに任意の解像度の動画フレームを処理できる。
• アクティビティプロポーザルは、推定されたアクティビティ度マップに対するしきい値処理および非最大抑制を用いて生成される。
• この手法はRCNNに類似した検出フレームワークで評価され、アクティビティプロポーザルが領域候補として用いられ、アクティビティ分類が行われる。

実験結果

リサーチクエスチョン

• RQ1 統合的なディープラーニングフレームワーク内で外観と運動の手がかりを組み合わせることで、ハイブリッド完全畳み込みネットワークが効果的にアクティビティ度を推定できるか。
• RQ2 提案されたH-FCNは、局所化精度と効率性の観点から、既存のアクティビティ度推定手法と比べてどのように差をつけるか。
• RQ3 推定されたアクティビティ度マップは、実世界の動画データセットにおいて、アクティビティプロポーザル生成およびアクティビティ検出性能をどの程度向上できるか。
• RQ4 外観と運動特徴を統合することは、単一のモodalitiyを用いる場合よりも優れた性能をもたらすか。

主な発見

• Stanford40データセットでは、本手法は1画像あたり10個のアクティビティプロポーザルで0.5 IoU閾値における0.9再現率を達成し、L-CORFおよびオブジェクトネス手法を上回る。
• JHMDBデータセットでは、1フレームあたり10個のプロポーザルで0.7 IoU閾値における0.5～0.6の検出率を達成し、優れた局所化精度を示している。
• A-FCNとM-FCNの組み合わせは、単体でのストリームよりも優れた性能を示し、JHMDBではA-FCNがM-FCNよりも優れた性能を示している。
• 本手法は、動画データセットにおいて最近のSTODPアクティビティプロポーザル手法を大きく上回っている。
• アクティビティ検出において、本手法は最先端の手法[11]と比較して、フレーム-APおよびビデオ-APをそれぞれ約3%向上させ、時間的リンクを用いると15%の顕著な向上を達成している。
• アクティビティ度マップは、高い再現率を維持しながら必要なプロポーザル数を顕著に削減するため、下流の動画理解タスクにおいて有効であることが証明された。