[論文レビュー] MultiSports: A Multi-Person Video Dataset of Spatio-Temporally Localized Sports Actions

Yixuan Li, Lei Chen+4 more|arXiv (Cornell University)|May 16, 2021

Human Pose and Action Recognition参考文献 59被引用数 6

ひとこと要約

本論文では、4つのスポーツにおける66種類の細分化されたスポーツ行動を含み、37,701件の密なアノテーション付き行動インスタンスを持つ大規模かつマルチプレイヤー向けの動画データセット、MultiSportsを紹介する。このデータセットは、現実的で複雑なシーン、明確に定義された時間的境界、マルチプレイヤー間の相互作用を重視しており、現実世界の厳しい条件下で最先端の検出モデルのベンチマーク評価を可能にする。これにより、従来のベンチマークと比較して顕著に低いmAPスコアが得られ、本データセットの難易度が浮き彫りになる。

ABSTRACT

Spatio-temporal action detection is an important and challenging problem in video understanding. The existing action detection benchmarks are limited in aspects of small numbers of instances in a trimmed video or low-level atomic actions. This paper aims to present a new multi-person dataset of spatio-temporal localized sports actions, coined as MultiSports. We first analyze the important ingredients of constructing a realistic and challenging dataset for spatio-temporal action detection by proposing three criteria: (1) multi-person scenes and motion dependent identification, (2) with well-defined boundaries, (3) relatively fine-grained classes of high complexity. Based on these guide-lines, we build the dataset of MultiSports v1.0 by selecting 4 sports classes, collecting 3200 video clips, and annotating 37701 action instances with 902k bounding boxes. Our datasets are characterized with important properties of high diversity, dense annotation, and high quality. Our Multi-Sports, with its realistic setting and detailed annotations, exposes the intrinsic challenges of spatio-temporal action detection. To benchmark this, we adapt several baseline methods to our dataset and give an in-depth analysis on the action detection results in our dataset. We hope our MultiSports can serve as a standard benchmark for spatio-temporal action detection in the future. Our dataset website is at https://deeperaction.github.io/multisports/.

研究の動機と目的

• 空間時間的行動検出の既存ベンチマークに見られる限界、すなわち単一プレイヤーの行動、粗い分類、または疎なアノテーションに起因する問題を是正すること。
• マルチプレイヤー、同時に進行する行動、明確に定義された時間的境界、細分化された行動カテゴリを捉える、現実的で高複雑性のベンチマークを構築すること。
• 未加工の動画における密なマルチプレイヤー行動検出の研究を進めるために適した高品質で多様なデータセットを提供すること。
• 現実的で複雑な条件下で空間時間的行動検出モデルを評価するための標準ベンチマークを確立すること。

提案手法

• 本データセットは、高い行動密度と複雑な相互作用が特徴の4つのスポーツ—バスケットボール、バレー、サッカー、アーチスティックジムナスティックス—を選び、構築した。
• 2段階のアノテーションパイプラインを採用した：まず、プロのアスリートが時間的境界と行動カテゴリをラベル付けした。次に、FCOTトラッキング手法を用いてクラウドソーシングのアノテーターがフレームごとのバウンディングボックスを生成した。
• すべての動画は、多様な国とパフォーマンスレベルのプロの競技会の高解像度録画から収集され、視覚的品質と多様性を確保した。
• データセットには3,200本の動画クリップと902,000個のバウンディングボックスが含まれており、66種類の細分化された行動クラスに加え、各行動インスタンスの正確な開始/終了タイムスタンプが付与されている。
• 空間的および時間的アノテーションの整合性を高め、ノイズを低減するために、厳密な品質管理プロセスがアノテーションプロセスに組み込まれた。
• ベースラインモデルをMultiSportsデータセットに適応させ、実験的評価とエラー分析を実施した。その結果、検出性能に顕著な課題が明らかになった。

実験結果

リサーチクエスチョン

• RQ1 最先端の空間時間的行動検出モデルは、MultiSportsのような現実的でマルチプレイヤー、高複雑性の動画データセットに適用された場合、性能がどの程度低下するか？
• RQ2 既存のベンチマークは、行動カテゴリの単純化や疎なアノテーションのため、現実世界の動画理解の真の課題を十分に捉えていない可能性はどの程度か？
• RQ3 密で動的なシーンにおける細分化された、同時に進行する行動に対して、現在の検出モデルが示す主な失敗モードは何か？
• RQ4 動きのダイナミクス、長期的文脈、人間-物体-シーンの相互作用は、複雑なスポーツ動画における検出精度にどのように影響するか？

主な発見

• MultiSportsデータセットには、3,200本の動画クリップにわたり37,701件の行動インスタンスが含まれており、902,000個のフレームごとのバウンディングボックスと66種類の細分化された行動クラスを有しており、空間時間的行動検出分野で最も包括的なデータセットの一つである。
• MultiSportsにおけるフレームmAPおよび動画mAPスコアは、J-HMDB や UCF101-24 といった既存ベンチマークと比較して顕著に低いことが確認され、本データセットの難易度の高さが裏付けられた。
• エラー分析の結果、モデルは特に混同しやすい行動（例：パス vs. スロー）を区別するのと、微細な動きの手がかりを持つ行動を検出するのが困難であることが判明した。これは、特に混雑したシーンで顕著であった。
• 同時に進行する行動や、プレイヤーとオブジェクトとの複雑な相互作用が、誤検出と見逃し検出を頻発させる要因となっており、特に高速なシーケンスでは顕著に現れた。
• 専門家アスリートによる時間的・カテゴリーラベル付けと、クラウドソーシングによるバウンディングボックス生成という2段階のアノテーションプロセスにより、ノイズが最小限に抑えられた高品質で一貫性のあるアノテーションが得られた。
• 本データセットは、現在のモデルにおける重要な限界、特に時間的局所化と動き依存認識の処理に関する課題を露呈しており、長期的モデリングと相互作用推論の向上が強く求められることを示唆している。