[論文レビュー] FSD-10: A Dataset for Competitive Sports Content Analysis

Shenglan Liu, Xiang Liu+7 more|arXiv (Cornell University)|Feb 9, 2020

Human Pose and Action Recognition参考文献 45被引用数 8

ひとこと要約

本論文は、国際選手権大会（2017–2018年）から収集された1,484本のクリップを含む大規模で細分化されたフィギュアスケート動画データセット、FSD-10を紹介する。運動中心の分類課題に対処するため、著者らは動きに重要なフレームに焦点を当てるキーフレームベースの時間的セグメントネットワーク（KTSN）を提案した。この手法は標準的なTSNを上回り、FSD-10で82.12%の正確性を達成した。これは、競技スポーツ分析において、静的ポーズや背景よりも動きのダイナミクスがより特徴的であることを示している。

ABSTRACT

Action recognition is an important and challenging problem in video analysis. Although the past decade has witnessed progress in action recognition with the development of deep learning, such process has been slow in competitive sports content analysis. To promote the research on action recognition from competitive sports video clips, we introduce a Figure Skating Dataset (FSD-10) for finegrained sports content analysis. To this end, we collect 1484 clips from the worldwide figure skating championships in 2017-2018, which consist of 10 different actions in men/ladies programs. Each clip is at a rate of 30 frames per second with resolution 1080 $ imes$ 720. These clips are then annotated by experts in type, grade of execution, skater info, .etc. To build a baseline for action recognition in figure skating, we evaluate state-of-the-art action recognition methods on FSD-10. Motivated by the idea that domain knowledge is of great concern in sports field, we propose a keyframe based temporal segment network (KTSN) for classification and achieve remarkable performance. Experimental results demonstrate that FSD-10 is an ideal dataset for benchmarking action recognition algorithms, as it requires to accurately extract action motions rather than action poses. We hope FSD-10, which is designed to have a large collection of finegrained actions, can serve as a new challenge to develop more robust and advanced action recognition models.

研究の動機と目的

• 高精度で細分化された競技スポーツ動画データセットが、高速で複雑なアスリート行動のアクション認識に不足しているという問題に対処すること。
• 静的ポーズや背景の手がかりよりも動きのダイナミクスに重点を置いたベンチマークデータセットを構築し、現実の競技スポーツの複雑さを反映させること。
• アクション品質評価（AQA）、時間的アクションセグメンテーション、およびマルチモodal学習（例：アクション-音楽同期）などの高度な研究を可能にすること。
• 競技スポーツにおけるドメインに則ったサンプリング戦略を用いたアクション認識の強固なベースラインを確立すること。

提案手法

• FSD-10データセットは、2017–2018年の世界フィギュアスケート選手権大会から収集された80時間の動画から構築され、10種類の異なるアクションを含む1,484本のクリップで構成されている。各クリップは30fps、1080×720解像度である。
• 各クリップは、アクション種別、実施評価（GOE）、基本値（BV）、スケーター情報などについて専門家がアノテートされており、細分化された分析を可能としている。
• キーフレームベースの時間的セグメントネットワーク（KTSN）を提案。この手法は、ランダムなサンプリングではなく、ジャンプにおける離陸および着地のフレームなど、動きに重要なフレームを選択する。
• KTSNは空間的特徴抽出にInception v3を活用し、RGBとオプティカルフロー入力を組み合わせることで、外観と動きのダイナミクスの両方をモデル化している。
• TSNはk=9セグメントを採用しているが、キーフレームに配慮したサンプリングを適用することで、高速で複雑なアクションの識別能を向上させている。
• 汎化性能を評価するため、UCF101とFSD-10を用いたクロスデータセット検証を実施。性能はRGB、オプティカルフロー、融合特徴によって測定されている。

実験結果

リサーチクエスチョン

• RQ1 細分化された競技スポーツ行動を区別する際、動きのダイナミクスは静的ポーズや背景と比べてどの程度優れているか？
• RQ2 キーフレームベースのサンプリングは、フィギュアスケートのような高速スポーツにおけるアクション認識性能を顕著に向上させることができるか？
• RQ3 FSD-10は、アクション品質評価（AQA）や時間的アクションセグメンテーションといった高度なタスクをどの程度サポートできるか？
• RQ4 標準的なTSNモデルと比較して、KTSNはFSD-10において動きへの感受性という観点でどの程度優れているか？
• RQ5 FSD-10は、UCF101のような既存のデータセットと比較して、クロスデータセット評価においてより優れた汎化性能を示すか？

主な発見

• KTSNはFSD-10でトップ1の正確性82.12%を達成した。これは、標準的なTSNがRGB特徴で76.77%、融合特徴で82.12%を記録するのに対し、顕著に優れている。
• FSD-10ではオプティカルフロー特徴がRGB特徴（48.94%）よりも高い性能（82.12%）を示しており、動きのダイナミクスが静的外観よりも特徴的であることが示された。
• FSD-10では3セグメントから9セグメントへのサンプリング変更で5.4%の性能向上を示したが、UCF101ではわずか2.5%にとどまり、細分化された時間的セグメンテーションへの感受性が確認された。
• 混同行列から、ラッツジャンプが24%のケースでフリップジャンプと誤分類されていることが判明し、高速ジャンプの種類を区別することが難しいことが示された。
• FSD-10は動きの手がかりに極めて感受性が高く、RGBとオプティカルフローの性能差がUCF101よりも顕著である。これは、動きがアクション認識において主導的要因であることを確認している。
• KTSNモデルは、特に離陸および着地のフレームに注目することで分類性能が顕著に向上することを示しており、競技スポーツ分析におけるドメイン知識の重要性を裏付けた。