[論文レビュー] Learning to score the figure skating sports videos

Chengming Xu, Yanwei Fu+4 more|arXiv (Cornell University)|Feb 8, 2018

Human Pose and Action Recognition参考文献 64被引用数 7

ひとこと要約

本論文では、自己注意LSTM（S-LSTM）とマルチスケール畳み込みスキップLSTM（M-LSTM）を組み合わせた深層学習フレームワークを提案し、フル長の映像からフィギュアスケートスコアを予測する。モデルは局所的およびグローバルな順序パターンを効果的に捉え、MIT-skateおよび新たに導入されたFis-Vデータセットの両方で最先端の性能を達成し、回帰精度とスピアマン順位相関の両面で顕著な向上を示した。

ABSTRACT

This paper targets at learning to score the figure skating sports videos. To address this task, we propose a deep architecture that includes two complementary components, i.e., Self-Attentive LSTM and Multi-scale Convolutional Skip LSTM. These two components can efficiently learn the local and global sequential information in each video. Furthermore, we present a large-scale figure skating sports video dataset -- FisV dataset. This dataset includes 500 figure skating videos with the average length of 2 minutes and 50 seconds. Each video is annotated by two scores of nine different referees, i.e., Total Element Score(TES) and Total Program Component Score (PCS). Our proposed model is validated on FisV and MIT-skate datasets. The experimental results show the effectiveness of our models in learning to score the figure skating videos.

研究の動機と目的

• プロフェッショナルなフィギュアスケート映像のスコア付けを学ぶ課題に取り組むこと。これは、熟練したスコアリングを要する長時間で複雑なパフォーマンスを理解する必要がある。
• フル長のスケートパフォーマンスにおける局所的な技術的動き（TES）とグローバルな芸術的解釈（PCS）の両方を捉えることができるモデルの開発。
• スポーツビデオ分析分野における研究を目的として、専門家がアノテートしたTESおよびPCSスコアを備えた大規模かつ高品質なビデオデータセットの構築。
• 提案されたモデルの有効性を、既存および新たに収集したデータセット上で評価し、ベースライン手法を上回る優れた性能を示すこと。

提案手法

• 自己注意LSTM（S-LSTM）は、回帰に向けた重要なクリップレベル特徴量を特定・重み付けするために自己注意メカニズムを用い、局所的な順序パターンに焦点を当てる。
• マルチスケール畳み込みスキップLSTM（M-LSTM）は、修正されたスキップLSTMアーキテクチャを用いて、複数スケールでの局所的およびグローバルな時間的依存関係をモデル化し、計算コストを低減する。
• 2つのサブネットワークは独立して使用可能であり、TESおよびPCSスコアの共同回帰を目的としたエンドツーエンドフレームワークに統合することも可能である。
• モデルはC3D特徴量を入力として、エンドツーエンドで訓練され、最大プーリングまたは平均プーリングと線形SVRを用いて回帰を行う。
• 評価には平均二乗誤差（MSE）およびスピアマン順位相関が用いられ、注意メカニズムおよび特徴タイプに関するアブレーションスタディが実施された。
• Fis-Vデータセットはプロ競技の映像から構築され、500本の高品質なクリップから構成され、平均長は2分50秒。各クリップは9名の国際的レフェリーによってアノテートされた。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、フル長の映像パフォーマンスから熟練したフィギュアスケートスコアを効果的に予測できるか？
• RQ2 自己注意とマルチスケールモデリングは、スケートスコアの技術的および芸術的側面を捉えるのにどのように寄与するか？
• RQ3 この回帰タスクにおいて、異なる特徴抽出手法（例：C3D対SENet）の相対的な性能はいかがなものか？
• RQ4 S-LSTMとM-LSTMを組み合わせることで性能が向上するか？もしあるならば、どのスコアタイプ（TES対PCS）で向上が見られるか？
• RQ5 モデルの注意メカニズムは、人間の専門家が重要なパフォーマンス瞬間と評価するものと一致しているか？

主な発見

• 提案されたM-LSTMおよびS-LSTMモデルは、MIT-skateおよびFis-Vデータセットの両方で、スピアマン順位相関とMSEの両面で、すべてのベースラインを大きく上回った。
• Fis-Vデータセットでは、M-LSTM単体で最良の性能を達成し、PCSのスピアマン相関が0.853、TESが0.781を記録した。
• S-LSTMとM-LSTMの組み合わせはPCSの性能をさらに向上（スピアマン相関0.853）させたが、TESでは顕著な向上が見られず、技術的スコアの特徴学習に冗長性がある可能性を示唆した。
• Fis-Vデータセットでは平均プーリングが最大プーリングを上回ったが、MIT-skateでは逆に最大プーリングが優れていた。これはプーリング戦略がデータセットに依存することを示唆した。
• クリップベースで動きに敏感なC3D特徴量は、静的フレームベースのSENet特徴量よりも優れた結果をもたらした。これは、スケート映像分析において時間的モデリングの重要性を強調した。
• 自己注意メカニズムは、複雑なジャンプなどの高インパクト技術的動きを、高い注意重みを割り当てることで効果的に特定でき、定性的な可視化によって裏付けられた。