[論文レビュー] Learning Person Trajectory Representations for Team Activity Analysis

Nazanin Mehrasa, Yatao Zhong+3 more|arXiv (Cornell University)|Jun 3, 2017

Human Pose and Action Recognition参考文献 28被引用数 10

ひとこと要約

本稿では、チームスポーツにおける選手の動きから時空間的軌道表現を学習するエンドツーエンドのディープラーニングフレームワークを提案する。このモデルは、1次元畳み込みニューラルネットワーク（1D CNN）を軌道系列に適用することで、チーム固有の行動やイベントを高精度に認識し、手作業で作成された特徴量を上回り、NHLおよびNBAデータセットにおけるチーム識別およびイベント分類において優れた性能を示した。

ABSTRACT

Activity analysis in which multiple people interact across a large space is challenging due to the interplay of individual actions and collective group dynamics. We propose an end-to-end approach for learning person trajectory representations for group activity analysis. The learned representations encode rich spatio-temporal dependencies and capture useful motion patterns for recognizing individual events, as well as characteristic group dynamics that can be used to identify groups from their trajectories alone. We develop our deep learning approach in the context of team sports, which provide well-defined sets of events (e.g. pass, shot) and groups of people (teams). Analysis of events and team formations using NHL hockey and NBA basketball datasets demonstrate the generality of our approach.

研究の動機と目的

• マルチプレイヤーの行動における個々の行動とグループダイナミクスの両方を符号化する軌道表現を学習するエンドツーエンドのディープラーニング手法の開発。
• 視覚的特徴量のみでは、動きのぼやけや選手の高速移動のため不十分となる複雑なチームスポーツの分析課題に対処すること。
• ワールド座標系における生の選手軌道から、豊かな時空間的依存関係を学習し、個々のイベントと集団的チーム行動の両方の認識を可能にすること。
• アイスホッケーとバスケットボールを含む、異なるチームスポーツにわたるメソッドの汎用性とロバスト性を示すこと。
• 視覚的外観やオブジェクトレベルの特徴量に依存せずに、軌道に基づく表現がチーム固有の集団的ダイナミクスを効果的に捉えられることを示すこと。

提案手法

• 選手の時系列にわたる2次元軌道データ（x, y座標）の系列に1次元畳み込みニューラルネットワーク（CNN）を適用し、時空間的特徴量を学習する。
• フィルターサイズが段階的に増加し、各層のフィルタ数も増加するスタックドアーキテクチャを採用し、ReLU活性化関数と最大プーリングを層間で使用する。
• 入力の軌道系列は複数の畳み込み層を経由し、グローバル平均プーリングと全結合層を経て分類処理される。
• エンドツーエンドで訓練され、交差エントロピー損失関数を用いて、軌道系列からチーム識別とイベントタイプを予測する。
• 最初の畳み込み層のフィルタを可視化し、特定の動きのダイナミクスに対応する「Z」、「S」、「M」、または「W」形状の学習済み時間的パターンを解釈する。
• イベント（例：パス、シュート）とチームフォーメーションのラベルが付与されたNHLおよびNBAデータセットで、手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 生の選手軌道系列のディープラーニングは、チームスポーツにおける個々のイベントパターンと集団的グループダイナミクスの両方を効果的に捉えられるか？
• RQ2 視覚的外観やオブジェクトレベルの特徴量に依存せずに、軌道ベースの表現がチームを識別できる程度はどの程度か？
• RQ3 アーキテクチャの選択（例：層の数、フィルターサイズ、フィルタ数）が、チームおよびイベント認識性能に与える影響はいかほどか？
• RQ4 最初の畳み込み層で学習されたフィルタは、チームやイベントを区別する意味のある時間的動きパターンに対応しているか？
• RQ5 手作業で作成された軌道特徴量（例：IDT）と比較して、本手法は集団レベルのダイナミクスをどの程度効果的に捉えられるか？

主な発見

• 5convモデルはチーム識別分類で24.78%の精度を達成し、ゲームベースの精度は95.91%に達し、IDTベースライン（5.74%および9.10%）を著しく上回った。
• 畳み込み層の数を増やすことで性能が向上し、深さのバリエーションの中で5convモデルが最良の結果を示した。
• 小さなフィルターサイズ（例：3×3）が、大きなサイズ（9×9）よりも優れた性能を示した。フィルターサイズを9×9に増加させると、精度が急激に低下（14.13%）した。
• モデルは95.91%のゲームベース精度を達成し、試合全体にわたるチーム識別の一般化性能と一貫性が優れていることを示した。
• 最初の層のフィルタ可視化により、「Z」、「S」、「M」、および「W」形状に類似した学習済み時間的パターンが明らかになった。これは、モデルが意味のある動きのダイナミクスを捉えていることを示唆している。
• モデルは65%のポSESSIONでボストン・セルティックスを正しく特定し、ピックアンドポップのような特徴的なプレーにおいても自信を持って予測していた。これは、チーム固有の戦術に敏感に学習していることを示している。