[論文レビュー] Spatiotemporal Motion Synchronization for Snowboard Big Air

Seiji Matsumura, Dan Mikami+2 more|arXiv (Cornell University)|Dec 20, 2021

Winter Sports Injuries and Performance被引用数 5

ひとこと要約

本論文では、スノーボーダーのビッグエアトレーニングを対象に、ホモグラフィーに基づく空間的アライメントと時間的オフセット検出を用いて、異なるカメラアングルから撮影された複数のジャンプ動画を時空間的に同期する手法を提案する。専門家スノーボーダーは、本手法が微細な身体運動の違いの検出を顕著に向上させ、トレーニング中のパフォーマンス比較やスキルの洗練に有効であると報告した。

ABSTRACT

During the training for snowboard big air, one of the most popular winter sports, athletes and coaches extensively shoot and check their jump attempts using a single camera or smartphone. However, by watching videos sequentially, it is difficult to compare the precise difference in performance between two trials. Therefore, side-by-side display or overlay of two videos may be helpful for training. To accomplish this, the spatial and temporal alignment of multiple performances must be ensured. In this study, we propose a conventional but plausible solution using the existing image processing techniques for snowboard big air training. We conducted interviews with expert snowboarders who stated that the spatiotemporally aligned videos enabled them to precisely identify slight differences in body movements. The results suggest that the proposed method can be used during the training of snowboard big air.

研究の動機と目的

• トレーニング中に異なるカメラアングルから記録されたスノーボードビッグエアジャンプのパフォーマンスを比較する課題に対処すること。
• 順次的な動画レビューでは捉えにくい、ジャンプ試行間の身体運動の微細な違いをアスリートやコーチが検出できるようにすること。
• 既存の技術を活用した実用的で画像処理ベースのソリューションを開発し、専用ハードウェアやリアルタイムフィードバックを必要としない時空間的アライメントを実現すること。
• 専門家インタビューを通じて、本手法の実世界のトレーニングシナリオにおける有効性を評価すること。

提案手法

• 異なるカメラ位置から撮影された2つの動画の空間的視点を、ホモグラフィー変換を用いてアライメントさせ、一貫した視覚的視点を確保する。
• 動画フレーム内でコーナーポイントを手動で特定し、空間的アライメントのためのホモグラフィー行列を計算する。
• モーショントランスフォーメーションのベースフレームを特定するため、モーショングラフィック特徴を分析し、2つのジャンプシーケンス間の時間的オフセットを同定する。
• 1つの動画を他方の動画に対してずらすことで時間的アライメントを実行し、対応するモーショングラフィックフェーズ（例：離陸、空中回転）が同時に発生するようにする。
• 側面比較や重ね合わせ表示が可能な、並べて表示または重ね合わせた動画出力を生成する。
• 雪具の影響やブレによるポーズ推定の信頼性が低下した場合のための、粗いモーショングラフィック特徴としてのモーションヒストグラム画像を用いる。

実験結果

リサーチクエスチョン

• RQ1 異なるカメラアングルからのスノーボードビッグエア動画の時空間的同期は、アスリートパフォーマンスにおける微細な差の検出を向上させることができるか？
• RQ2 提案手法は、アスリートが運動開始タイミングや回転角度などの身体運動の変異を効果的に特定できるか？
• RQ3 順次的動画レビューと比較して、本手法はトレーニングにおける実用性をどの程度向上させるか？
• RQ4 ホモグラフィー変換による空間的歪みが、パフォーマンス分析中の専門家ユーザーにとって目立つか、あるいは混乱を招くか？
• RQ5 本手法は、スマートフォンの手動撮影や可変なカメラアングルを含む実践的トレーニングシナリオをサポートできるか？

主な発見

• 専門家スノーボーダーは、本手法で生成された側面比較や重ね合わせ動画が、順次的動画レビューと比較して微細な身体運動の違いをより明確に検出可能であると報告した。
• 参加者は、アプローチフェーズにおける運動開始タイミング、アーム回転角度、ジャンプ中の回転の質といった具体的なパフォーマンス差を、同期化された出力によりより効果的に特定できたと述べた。
• 本手法は、初心者がジャンプの質を評価するのや、トレーニングパフォーマンスとコンテストパフォーマンスを比較するのにおいて特に役立つと認識された。
• 参加者の全員が、ホモグラフィー変換によって生じる空間的ポージングの歪みに気づかなかったため、テスト範囲内のカメラアングル差においても視覚的忠実性が維持されていることが示唆された。
• 全インタビュー参加者が、本手法がトレーニングにおいて有用であると述べ、特にトレーニングジャンプとコンテストジャンプの比較や、新しい技の習得に際してメンタルモデルと実際のパフォーマンスを一致させるのに役立つと評価した。
• 本手法は実用的導入の可能性を示したが、手動でのコーナーポイント検出と、手動撮影動画への対応不能さが、広範な展開における主な制限要因であるとされた。