[論文レビュー] Human Action Localization with Sparse Spatial Supervision

Philippe Weinzaepfel, Xavier Martín+1 more|arXiv (Cornell University)|May 17, 2016

Human Pose and Action Recognition参考文献 33被引用数 68

ひとこと要約

本稿では、1つの行動インスタンスあたり数フレームのスパARSEな空間アノテーション（行動の境界ボックス）のみを用いて、正確な行動局所化を達成する時空間行動検出手法を提案する。この手法は人間のチューブトラッキングと時間的モデリングを備えた二重ストリームネットワークを活用し、アントリムド動画における行動の局所化を実現する。新しく導入されたDALYデータセットにおいて最先端の性能を達成しており、3,724個の時間的・空間的にアノテートされた行動インスタンスを含む。

ABSTRACT

We introduce an approach for spatio-temporal human action localization using sparse spatial supervision. Our method leverages the large amount of annotated humans available today and extracts human tubes by combining a state-of-the-art human detector with a tracking-by-detection approach. Given these high-quality human tubes and temporal supervision, we select positive and negative tubes with very sparse spatial supervision, i.e., only one spatially annotated frame per instance. The selected tubes allow us to effectively learn a spatio-temporal action detector based on dense trajectories or CNNs. We conduct experiments on existing action localization benchmarks: UCF-Sports, J-HMDB and UCF-101. Our results show that our approach, despite using sparse spatial supervision, performs on par with methods using full supervision, i.e., one bounding box annotation per frame. To further validate our method, we introduce DALY (Daily Action Localization in YouTube), a dataset for realistic action localization in space and time. It contains high quality temporal and spatial annotations for 3.6k instances of 10 actions in 31 hours of videos (3.3M frames). It is an order of magnitude larger than existing datasets, with more diversity in appearance and long untrimmed videos.

研究の動機と目的

• 高コストな密な空間的アノテーションに依存しない人間行動局所化手法の開発を目的とする。
• 1つの行動インスタンスあたり数フレームのアノテーションのみで与えられるスパARSEな空間的監視下での行動局所化性能の評価を目的とする。
• 10の行動クラス、330万フレーム、3,724個の時間的・空間的にアノテートされたインスタンスを有する大規模なベンチマークとしてのDALYデータセットの導入と公開を目的とする。
• 強固な人間のチューブトラッキングと検出パイプラインを用いて、スパARSEな監視が効果的な時空間行動検出に十分であることを実証することを目的とする。

提案手法

• 本手法は、外見的特徴と動き特徴のための別々のブランチを有する二重ストリーム畳み込みニューラルネットワークを用い、スパARSEな空間的アノテーションが与えられた動画上でエンドツーエンドに訓練する。
• 人物検出をフレーム間で関連付けるために人間のチューブトラッカーを採用し、時間的に連続する検出結果を結ぶスパテオローカルチューブを生成する。
• 空間的アノテーションは、1つの行動インスタンスあたり5つの均等にサンプリングされたフレームに、アクター、物体、上半身のキーポイントの境界ボックスを含む。
• 時間的局所化は、チューブ特徴に時間的回帰ヘッドを適用して、行動チューブの開始時刻と終了時刻を回帰することで実現する。
• 局所化精度の向上を図るため、分類、回帰、ポーズ推定を組み合わせたマルチタスク損失を用いてモデルを訓練する。
• 動画のカット処理を扱うためにショートカットフラグを用い、必要に応じてカットを別個の行動インスタンスとして扱う。

実験結果

リサーチクエスチョン

• RQ1 1つの行動インスタンスあたり数フレームのスパARSEな空間的アノテーション（例：境界ボックス）のみで、正確な人間行動局所化を達成できるか？
• RQ2 1つの行動インスタンスあたり5フレームのみで空間的監視が与えられた場合、行動局所化の性能はどの程度低下するか？
• RQ3 スパARSEな監視下において、チューブベースのトラッキングアプローチが時間的整合性と局所化精度をどの程度向上できるか？
• RQ4 多様な行動クラスと複雑な時間的境界を有する、新しい挑戦的なデータセットにおいて、提案手法は完全に監視されたベースラインと比較してどのように性能を発揮するか？

主な発見

• 提案手法は、スパARSEな空間的監視のみを用いてもDALYデータセットで最先端の性能を達成しており、高精度な局所化には密なアノテーションが必須でないことを示している。
• 平均行動インスタンス長は7.8秒、標準偏差は16.4秒であり、行動長の大きなばらつきが存在することが示され、本手法がそのような変動を効果的に処理できることを裏付けている。
• 時間的交差率（IoU）が0.2を超える行動インスタンスの95％を検出できており、スパARSEな監視下でも強力な時間的局所化能力を有していることが示された。
• 失敗事例の主な原因は、部分的体の遮蔽やカメラの遮蔽であり、人間検出器が追跡を維持できなくなることが原因で、深刻な視覚的劣化下での耐性の限界を示している。
• データセットには1クラスあたり51本の動画が含まれ、合計3,724個の行動インスタンス、70万フレームの行動を含む。今後の研究のための豊富で多様なベンチマークを提供している。
• 短時間の行動や複数人で複雑なシーンが発生する状況下でも、電話をかける、飲む、写真を撮るといった行動を効果的に局所化できている。