[論文レビュー] TubeR: Tube-Transformer for Action Detection.

Jiaojiao Zhao, Xinyu Li+5 more|arXiv (Cornell University)|Apr 2, 2021

Human Pose and Action Recognition参考文献 40被引用数 11

ひとこと要約

TubeR は、手作業で作成したチューブ提案を用いずに、柔軟で可変長のアクションチューブを学習する、トランスフォーマーに基づく新規なアーキテクチャである。時間的・空間的拡張を学習可能なチューブクエリとアクションチューブ埋め込みによってモデル化することで、UCF101-24 および J-HMDB で最先端の性能を達成し、AVA でも競争力のある結果を示した。これは、長時間の動画理解における強力な可能性を示している。

ABSTRACT

In this paper, we propose TubeR: the first transformer based network for end-to-end action detection, with an encoder and decoder optimized for modeling action tubes with variable lengths and aspect ratios. TubeR does not rely on hand-designed tube structures, automatically links predicted action boxes over time and learns a set of tube queries related to actions. By learning action tube embeddings, TubeR predicts more precise action tubes with flexible spatial and temporal extents. Our experiments demonstrate TubeR achieves state-of-the-art among single-stream methods on UCF101-24 and J-HMDB. TubeR outperforms existing one-model methods on AVA and is even competitive with the two-model methods. Moreover, we observe TubeR has the potential on tracking actors with different actions, which will foster future research in long-range video understanding.

研究の動機と目的

• 手作業で設計されたチューブ提案に依存しない単一ストリームでエンドツーエンドのアクション検出フレームワークを開発すること。
• 学習可能なアテンションベースのアーキテクチャを用いて、可変長および可変アスペクト比のアクションチューブをモデル化すること。
• トランスフォーマーのエンコーダ・デコーダ構造を通じてアクションチューブ埋め込みを学習することで、空間的および時間的局所化の精度を向上させること。
• 複数のフレームにわたる予測を結びつけるチューブクエリを学習することで、アクションの自動時間的グランドイングを可能にすること。
• モデルの長時間動画理解および1人のアクトルが複数のアクションを実行する場合のトラッキングへの応用可能性を検討すること。

提案手法

• TubeR は、動画クリップを処理し、エンドツーエンドでアクションチューブを予測するように設計されたトランスフォーマーのエンコーダ・デコーダアーキテクチャを採用している。
• 時間的・空間的拡張が可変であるアクションチューブ予測を生成するために、動画特徴に注目する学習可能なチューブクエリを導入している。
• 空間的なボクシングボックスと時間的持続期間を両方とも符号化するアクションチューブ埋め込みを学習することで、柔軟なチューブ生成を可能にしている。
• デコーダはエンコーダ特徴とチューブクエリに注目し、マルチヘッド自己アテンションおよびクロスアテンション機構を用いて予測を精緻化している。
• 後処理を必要とせず、動画トークンから直接アクションチューブを予測することで、空間的および時間的局所化を同時に最適化している。
• アンカープライオリのない可変長出力を可能にするために、セット予測ヘッドを用いている。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくアーキテクチャは、手作業で作成した提案を用いずに、可変長および可変アスペクト比のアクションチューブを学習的に生成できるか？
• RQ2 チューブクエリと埋め込みをエンドツーエンドで学習することで、2段階法やアンカーベース手法と比較して、局所化精度がどのように向上するか？
• RQ3 単一ストリームのトランスフォーマーモデルが、標準的なアクション検出ベンチマークで最先端の性能を達成できるか、その程度はどの程度か？
• RQ4 モデルは長時間の動画理解や、1人のアクトルが複数のアクションを実行する場合のトラッキングに一般化できるか？
• RQ5 学習されたチューブクエリは、複数のフレームにわたるアクション予測の自動的時間的リンクを可能にするか？

主な発見

• TubeR は、UCF101-24 および J-HMDB で単一ストリーム手法として最先端の性能を達成し、優れた局所化および検出精度を示した。
• AVA ベンチマークでは、既存の1モデル手法を上回り、2モデルアンサンブル手法と同等の性能を達成した。
• 手作業で作成したチューブ構造を一切用いずに、エンドツーエンド学習により柔軟な空間的および時間的拡張を持つアクションチューブの生成を学習した。
• TubeR は、長時間の動画シーケンスで複数のアクションを実行するアクトルのトラッキングにも強く、長時間の動画理解への応用可能性を示した。
• 学習可能なチューブクエリの使用により、アクション予測の時間的整合性が向上した。
• アーキテクチャのアテンション機構は、多様な動画長にわたり、長距離依存性を効果的にモデル化でき、堅牢なアクションチューブ予測を支援した。