[論文レビュー] Incremental Tube Construction for Human Action Detection

Harkirat Behl, Michael Sapienza+4 more|arXiv (Cornell University)|Apr 5, 2017

Human Pose and Action Recognition参考文献 32被引用数 12

ひとこと要約

本稿では、1回のパスでアクションラベル付け、時空間的局所化、チューブ連携を統合的に行うオンラインで段階的なアルゴリズムOJLAを提案する。統一されたコスト関数を定式化することで、OJLAはオンライン連携精度と速度（1フレームあたり1.8ms）において、同時に複数のアクションが発生する複雑な未トリム動画において、最先端のオフラインおよびオンライン手法を凌駕する。

ABSTRACT

Current state-of-the-art action detection systems are tailored for offline batch-processing applications. However, for online applications like human-robot interaction, current systems fall short, either because they only detect one action per video, or because they assume that the entire video is available ahead of time. In this work, we introduce a real-time and online joint-labelling and association algorithm for action detection that can incrementally construct space-time action tubes on the most challenging action videos in which different action categories occur concurrently. In contrast to previous methods, we solve the detection-window association and action labelling problems jointly in a single pass. We demonstrate superior online association accuracy and speed (2.2ms per frame) as compared to the current state-of-the-art offline systems. We further demonstrate that the entire action detection pipeline can easily be made to work effectively in real-time using our action tube construction algorithm.

研究の動機と目的

• オフラインでバッチ処理に依存し、複数の最適化パスを必要とする現在の行動検出システムの限界を克服すること。
• 人間-ロボットインタラクションなどのオンラインアプリケーション向けに、リアルタイムで段階的に処理できる仕組みを提供すること。
• 同じ空間時間領域に異なるラベルの重複するまたは矛盾するアクションチューブを排除すること。
• 1回の統合的最適化パスでチューブ連携、時空間的局所化、およびアクションラベル付けを同時に解決すること。
• 複数の同時発生アクションカテゴリを含む複雑な状況における精度と速度の向上を図ること。

提案手法

• 1回のパスでチューブ連携、時空間的局所化、アクションラベル付けを統合的に最適化する新しいコスト関数を提案する。
• 各空間的領域が任意の時点で最大1つのアクションラベルを有する空間時間表現を採用し、ラベルの競合を回避する。
• 新しいフレームが到着する度に段階的に更新するメカニズムを実装し、リアルタイム動作を可能にする。
• 2ストリームCNNのフレームレベル検出スコアを用いてチューブ構築をガイドする。
• アクションチューブ全体の共同最適化として問題を定式化し、重複しない、人間中心のチューブで一貫性のあるラベルを保証する。
• 別々の連携とラベル付けステップに起因する余分な計算を回避する1パス推論パイプラインを導入する。

実験結果

リサーチクエスチョン

• RQ1 オンライン行動検出において、アクションチューブ連携、時空間的局所化、およびラベル付けを1回の統合的最適化パスで効果的に解決できるか？
• RQ2 オンライン環境における逐次処理と比較して、統合的最適化が精度と速度の両面でどのように向上するか？
• RQ3 空間時間領域ごとに1ラベルのみを割り当てる制約を設けることで、ラベルの曖昧さをどの程度低減でき、チューブの一貫性が向上するか？
• RQ4 提案手法は、複数のアクションクラスと同時に発生する複雑な動画においても高い性能を維持できるか？
• RQ5 複数パスの最先端手法と比較して、1パスアプローチは速度と精度の面でどの程度優れているか？

主な発見

• OJLAは1フレームあたり1.8msの推論速度を達成し、先行するオンライン手法（例：300–400fps）を著しく上回り、リアルタイム処理を可能にする。
• LIRIS-HARLなどの困難なデータセットにおいて、最先端のオフラインおよびオンラインシステムと比較して、優れたオンライン連携精度を示した。
• UCF-101およびJHMDB-21においては、空間時間領域に1つのアクションしか存在しないが、OJLAはラベルが矛盾する重複するチューブを回避し、質的整合性を向上させた。
• 1人の人物が複数のアクションを同時に実行する状況では、重複しないマルチラベルチューブを生成でき、同時に発生するアクションの検出が可能になった。
• 1パス定式化により計算の冗長性が低減され、UCF-101では300–400fpsの先行手法と比較して550fpsのリンク速度を達成した。
• 簡単なデータセット（UCF-101、JHMDB-21）では複数ラベルを使用した場合にmAPが高くなるが、OJLAの1ラベルアプローチは、重複するアクションを含む複雑な現実世界のシナリオへの一般化性能が優れている。