[論文レビュー] Generic Tubelet Proposals for Action Localization

Jiawei He, Mostafa S. Ibrahim+2 more|arXiv (Cornell University)|May 30, 2017

Human Pose and Action Recognition参考文献 23被引用数 3

ひとこと要約

本稿では、動画内の空間的・時間的コンテキストを完全に微分可能でプラグアンドプレイなフレームワーク内で統合することで、UCF-Sports、J-HMDB21、UCF-101で最先端のアクションローカライゼーション性能を達成する、汎用的でクラスに依存しないチューブプロポーザルネットワーク（TPN）を提案する。このTPNは動画全体にわたり、クラスに依存しないチューブレットプロポーザルを生成し、その後、融合LSTMを用いた時間的理解ネットワーク（TUN）によって分類される。

ABSTRACT

We develop a novel framework for action localization in videos. We propose the Tube Proposal Network (TPN), which can generate generic, class-independent, video-level tubelet proposals in videos. The generated tubelet proposals can be utilized in various video analysis tasks, including recognizing and localizing actions in videos. In particular, we integrate these generic tubelet proposals into a unified temporal deep network for action classification. Compared with other methods, our generic tubelet proposal method is accurate, general, and is fully differentiable under a smoothL1 loss function. We demonstrate the performance of our algorithm on the standard UCF-Sports, J-HMDB21, and UCF-101 datasets. Our class-independent TPN outperforms other tubelet generation methods, and our unified temporal deep network achieves state-of-the-art localization results on all three datasets.

研究の動機と目的

• 動画アクションローカライゼーションにおけるクラス固有のアクションチューブ生成の限界を解消すること。
• 空間的および時間的コンテキストを捉える、汎用的でクラスに依存しないチューブレットプロポーザル手法を開発すること。
• 統一的でエンドツーエンド微分可能なフレームワークを用いて、正確なアクションローカライゼーションと分類を実現すること。
• さまざまな時間的モデリングネットワークと統合可能な、プラグアンドプレイなアーキテクチャを構築すること。
• アクション関連の空間的・時間的領域に注目することで、背景のゴミダミングやカメラの動きに対してより頑健になるようにすること。

提案手法

• 滑らかなL1損失関数を用いて、動画全体にわたりクラスに依存しない汎用的チューブレットプロポーザルを生成するチューブプロポーザルネットワーク（TPN）を提案する。
• 動画クリップから空間的および時間的特徴を抽出するため、2ストリームの特徴抽出バックボーン（例：VGG16）を用いる。
• 3次元の領域プロポーザルネットワーク（RPN）を用いて、空間的および時間的次元にわたる候補チューブレットを生成する。
• 各チューブレット内の長距離時間的依存関係をモデル化するために、時間的理解ネットワーク（TUN）で統合LSTMを採用する。
• TPNとTUNをプラグアンドプレイな形で統合し、共有特徴とエンドツーエンド学習を可能にする。
• チューブレットプロポーザルが微分可能目的関数のもとで同時に精錬および分類される、統一された学習パイプラインを採用する。

実験結果

リサーチクエスチョン

• RQ1 汎用的でクラスに依存しないチューブレットプロポーザル手法は、クラス固有のアクションチューブ生成を上回ることができるか？
• RQ2 統一された時間的ディープネットワークは、汎用的チューブレットプロポーザルを効果的に活用して空間的・時間的アクション分類を実現できるか？
• RQ3 本手法は、フレームレベル検出手法と比較して、背景のゴミダミングやカメラの動きに対してどれほど感受性が低くなるか？
• RQ4 TPNは、さまざまな動画理解タスクに再利用可能な汎用的コンponentsとして利用可能か？
• RQ5 時間的モデリング（例：LSTM）の統合は、非トリムド動画データセットにおけるローカライゼーション精度をどのように向上させるか？

主な発見

• 提案されたTPNは、TUNコンponentが存在しない状態でも、3つのデータセットすべてで他のチューブレット生成手法を上回り、高品質なプロポーザル生成を示している。
• J-HMDB21データセットでは、すべてのIoU閾値で最先端のmAPを達成し、先行手法と比較して1.5–2.5%の向上を示した。
• TUNにLSTMを組み込むことでmAPがさらに向上し、チューブレットが分類に適した十分な時間的情報を保持していることが裏付けられた。
• UCF-Sportsでは、さまざまなIoU閾値においても、従来の手法を一貫して上回り、ロバストネスと一般化性能を確認した。
• UCF-101では、時間的ローカライゼーションが欠落している状態でも競争力のある結果を達成し、完全な時間的モデリングを統合すればさらなる向上が見込まれる。
• フレームワークはコンパクトで再利用可能であり、TPNとTUN間で特徴を共有することで計算コストを低減し、プラグアンドプレイなデプロイメントを可能にした。