[論文レビュー] Spatio-Temporal Action Detection with Multi-Object Interaction

Huijuan Xu, Lizhi Yang+3 more|arXiv (Cornell University)|Apr 1, 2020

Human Pose and Action Recognition参考文献 43被引用数 6

ひとこと要約

本論文は、外部オブジェクト検出器に依存せずに、アクションチューブ内の複数オブジェクトの相互作用を同時に空間的および時間的回帰によって局所化するエンドツーエンドの時空間アクション検出フレームワーク、STARモデルを提案する。UCF101-24で競争的な性能（mAP@0.5 53.0%）を達成し、複数オブジェクト相互作用チューブを含む新しい大規模データセット、something-STARを提供する。

ABSTRACT

Spatio-temporal action detection in videos requires localizing the action both spatially and temporally in the form of an "action tube". Nowadays, most spatio-temporal action detection datasets (e.g. UCF101-24, AVA, DALY) are annotated with action tubes that contain a single person performing the action, thus the predominant action detection models simply employ a person detection and tracking pipeline for localization. However, when the action is defined as an interaction between multiple objects, such methods may fail since each bounding box in the action tube contains multiple objects instead of one person. In this paper, we study the spatio-temporal action detection problem with multi-object interaction. We introduce a new dataset that is annotated with action tubes containing multi-object interactions. Moreover, we propose an end-to-end spatio-temporal action detection model that performs both spatial and temporal regression simultaneously. Our spatial regression may enclose multiple objects participating in the action. During test time, we simply connect the regressed bounding boxes within the predicted temporal duration using a simple heuristic. We report the baseline results of our proposed model on this new dataset, and also show competitive results on the standard benchmark UCF101-24 using only RGB input.

研究の動機と目的

• 既存の時空間アクション検出手法が単一人物のアクションに限定されており、複数オブジェクトの相互作用には対応できないという制限を解決すること。
• アクションを単一の被験者による動きとして定義するのでなく、複数オブジェクト間の相互作用として定義し、より広範な空間的局所化を必要とすること。
• 空間的および時間的境界を同時に回帰するモデルを開発し、外部検出器や複雑な後処理に依存しないこと。
• アクションチューブに被験者および関与するオブジェクトを含むようにアノテートされた、新しい大規模データセットsomething-STARを構築すること。
• 推論時に共有3次元畳み込みとシンプルなボックス接続を用いたエンドツーエンド回帰が、高い速度と競争力のある精度を達成できることを示すこと。

提案手法

• STARモデルは、共有特徴を用いた3次元畳み込みニューラルネットワーク（3D ConvNet）バックボーンを採用し、エンドツーエンドで空間的アクションボックスと時間的持続期間を同時に回帰する。
• 空間的回帰は、すべての相互作用するオブジェクトを含む1つのバウンディングボックスを出力する。個々の人物中心のボックスではなく、複数オブジェクトの相互作用全体をカバーする。
• 時間的回帰は、アクションの開始時刻と終了時刻を予測し、スライディングウィンドウやヒューリスティックなリンク処理を必要としない直接的な時間的局所化を可能にする。
• 推論時、予測された時間的期間内での回帰空間ボックスをシンプルなIoUベースのヒューリスティックで接続し、複雑な最適化を回避する。
• モデルはRGB入力のみで学習され、動きの文脈を捉えるために3次元畳み込みが使用され、光流体の必要性がなくなる。
• アーキテクチャは効率的で、可変な空間的および時間的解像度をサポートしており、最適な性能は25 fpsおよび176×176解像度で達成される。

実験結果

リサーチクエスチョン

• RQ1 複数オブジェクト間の相互作用を含むアクションに、時空間アクション検出を効果的に拡張する方法は何か？
• RQ2 分離されたオブジェクト検出とトラッキングに依存するパイプライン手法と比較して、空間的および時間的回帰を同時に実行する統合的エンドツーエンドモデルは、性能を上回れるか？
• RQ3 光流体を用いない2ストリームモデルと比較して、3次元畳み込みを用いたRGB入力のみの手法が、検出精度と推論速度に与える影響は何か？
• RQ4 UCF101-24のような標準ベンチマークで、人物中心のアクションに適用した場合、提案手法の性能は最先端手法と比較してどうなるか？
• RQ5 予測された時間ウィンドウ内での空間ボックスを接続するシンプルなヒューリスティックは、複雑な後処理を置き換えられ、精度を維持できるか？

主な発見

• STARモデルは、光流体や外部検出器を一切使用せず、RGB入力のみでUCF101-24ベンチマークで53.0%のmAP@0.5を達成し、優れた性能を示した。
• 1台のTITAN X (Pascal)で250 fpsの推論速度を達成し、40 fps未満で動作する従来手法を大きく上回った。
• 人物中心のアクションに特化して設計されていないにもかかわらず、UCF101-24で競争力ある結果を示し、標準ベンチマークへの汎用性が確認された。
• 提案されたsomething-STARデータセットには3207本の動画が含まれており、学習用に2293本、テスト用に914本が割り当てられている。
• フレーム単位のmAP@0.5は動画単位のmAPより低く、フレームレベルの検出が弱いにもかかわらず、強力な時間的局所化能力を示している。
• アブレーションスタディにより、something-somethingで微調整された事前学習分類バックボーンを用いることで、Sports-1Mの重みを用いるよりも性能が向上することが確認された。