[論文レビュー] A Survey on Video Action Recognition in Sports: Datasets, Methods and Applications

Fei Wu, Qingzhong Wang+6 more|arXiv (Cornell University)|Jun 2, 2022

Human Pose and Action Recognition被引用数 10

ひとこと要約

本サーベイは、12のスポーツを対象として、スポーツ映像の行動認識に関する包括的なレビューを提供する。データセット、ディープラーニング手法、応用分野を網羅しており、フットボール、バスケットボール、卓球、フィギュアスケートを対象としたPaddlePaddleベースのツールボックスを導入。長尾分布やマルチビュー認識といった課題に対処する。

ABSTRACT

To understand human behaviors, action recognition based on videos is a common approach. Compared with image-based action recognition, videos provide much more information. Reducing the ambiguity of actions and in the last decade, many works focused on datasets, novel models and learning approaches have improved video action recognition to a higher level. However, there are challenges and unsolved problems, in particular in sports analytics where data collection and labeling are more sophisticated, requiring sport professionals to annotate data. In addition, the actions could be extremely fast and it becomes difficult to recognize them. Moreover, in team sports like football and basketball, one action could involve multiple players, and to correctly recognize them, we need to analyse all players, which is relatively complicated. In this paper, we present a survey on video action recognition for sports analytics. We introduce more than ten types of sports, including team sports, such as football, basketball, volleyball, hockey and individual sports, such as figure skating, gymnastics, table tennis, tennis, diving and badminton. Then we compare numerous existing frameworks for sports analysis to present status quo of video action recognition in both team sports and individual sports. Finally, we discuss the challenges and unsolved problems in this area and to facilitate sports analytics, we develop a toolbox using PaddlePaddle, which supports football, basketball, table tennis and figure skating action recognition.

研究の動機と目的

• スポーツ映像の行動認識に関する既存のデータセット、モデル、フレームワークを体系的にレビューすること。
• 長尾クラス分布や複数選手の相互作用といった、スポーツ映像分析における主な技術的課題を特定すること。
• データアノテーションの高コストを軽減するため、スポーツ固有の行動認識に向けた転移学習、少数ショット学習、ゼロショット学習戦略を提案すること。
• PaddlePaddleを用いた公開可能なツールボックスを構築し、スポーツ映像分析分野の研究を支援すること。

提案手法

• 2011年から2023年までの200件以上の研究論文を調査し、スポーツ種目（チーム vs. 個人）および手法（2D/3D CNN、スケルトンベース、統計的学習）に分類する。
• Kinetics-400、FSD-10、P2A、SVWなどのベンチマークデータセット上でディープラーニングモデルの性能を分析する。
• クラス分布の可視化と統計的分析を用いて、スポーツデータセットにおける長尾分布の問題を評価する。
• 異なるカメラアングルに対応するためのマルチカメラおよびマルチビュー行動認識戦略を提案し、耐性を向上させる。
• 大規模なラベル付きデータに依存しないように、転移学習と少数ショット学習技術を統合する。
• 事前学習済みモデルと推論パイプラインを備えた、PaddlePaddleベースのツールボックスをリリースし、フットボール、バスケットボール、卓球、フィギュアスケートの行動認識をサポートする。

実験結果

リサーチクエスチョン

• RQ1 特に複数選手が相互作用するチームスポーツにおいて、映像行動認識の主な課題は何ですか？
• RQ2 スポーツデータセットにおける長尾クラス分布がモデル性能に与える影響は何か？また、その緩和戦略は？
• RQ3 転移学習、少数ショット学習、ゼロショット学習は、スポーツ映像分析におけるアノテーションコストをどの程度低減できるか？
• RQ4 2D、3D、スケルトンベースの異なるディープラーニングアーキテクチャは、個人スポーツとチームスポーツの両方でどのように性能を発揮するか？
• RQ5 実世界のスポーツ映像応用において、マルチカメラおよびマルチビュー行動認識の現在の限界は何か？

主な発見

• スポーツ映像行動認識は、P2A や SVW のようなデータセットにおいて、少数の行動がデータを支配する長尾クラス分布の影響を著しく受ける。
• フィギュアスケートや体操のような細分化された行動認識タスクでは、スケルトンベース手法と3D CNNが2D CNNを上回る性能を発揮する。これは、時間的モデリングが優れているためである。
• 一貫性のないカメラアングルと統一されたベンチマークの欠如により、マルチビュー行動認識は依然として困難であり、適応的モデルスイッチングが求められる。
• 多様なスポーツ映像を用いた自己教師付き事前学習を組み合わせた転移学習により、少数ショット一般化性能が向上し、アノテーションコストが削減される。
• リリースされたPaddlePaddleツールボックスにより、フットボール、バスケットボール、卓球、フィギュアスケートにおけるエンドツーエンドの学習と推論が、最先端のモデルを用いて可能になる。
• 進展は見られるものの、複雑な選手間相互作用や隠蔽現象のため、フットボールのようなチームスポーツにおける行動認識は依然として困難であり、複数エージェントの連合モデリングが不可欠である。