[論文レビュー] Sports Re-ID: Improving Re-Identification Of Players In Broadcast Videos Of Team Sports

Bharath Comandur|arXiv (Cornell University)|Jun 6, 2022

Video Analysis and Summarization被引用数 4

ひとこと要約

本論文は、類似したユニフォームを着用し、訓練データが極めて限られている低解像度のチームスポーツ放送映像における選手再識別を改善するため、階層的データサンプリング戦略と単純なユークリッド重心損失を提案する。この手法により、CNNおよびビジョントランスフォーマーの両方でmAPが7–11.5、R1が8.8–14.9向上し、SoccerNet Re-Identification Challenge 2022のリーダーボードで86.0 mAPおよび81.5 R1を達成し、最先端の性能を実現した。

ABSTRACT

This work focuses on player re-identification in broadcast videos of team sports. Specifically, we focus on identifying the same player in images captured from different camera viewpoints during any given moment of a match. This task differs from traditional applications of person re-id in a few important ways. Firstly, players from the same team wear highly similar clothes, thereby making it harder to tell them apart. Secondly, there are only a few number of samples for each identity, which makes it harder to train a re-id system. Thirdly, the resolutions of the images are often quite low and vary a lot. This combined with heavy occlusions and fast movements of players greatly increase the challenges for re-id. In this paper, we propose a simple but effective hierarchical data sampling procedure and a centroid loss function that, when used together, increase the mean average precision (mAP) by 7 - 11.5 and the rank-1 (R1) by 8.8 - 14.9 without any change in the network or hyper-parameters used. Our data sampling procedure improves the similarity of the training and test distributions, and thereby aids in creating better estimates of the centroids of the embeddings (or feature vectors). Surprisingly, our study shows that in the presence of severely limited data, as is the case for our application, a simple centroid loss function based on euclidean distances significantly outperforms the popular triplet-centroid loss function. We show comparable improvements for both convolutional networks and vision transformers. Our approach is among the top ranked methods in the SoccerNet Re-Identification Challenge 2022 leaderboard (test-split) with a mAP of 86.0 and a R1 of 81.5. On the sequestered challenge split, we achieve an mAP of 84.9 and a R1 of 80.1. Research on re-id for sports-related applications is very limited and our work presents one of the first discussions in the literature on this.

研究の動機と目的

• 選手が非常に似たユニフォームを着用し、訓練データが極めて限られているチームスポーツ放送映像における選手再識別の独自の課題に対処すること。
• 監視用途で設計された従来の再識別手法が、訓練データとテストデータの分布のずれのため、この分野では失敗する理由を調査すること。
• 低ショット、高類似性の状況下で、訓練データとテストデータの分布のギャップを低減するデータサンプリング戦略を開発すること。
• 限られたデータ量の状況下で、より複雑なトリプレット・センタロスと比較して、単純なユークリッド重心損失が果たす有効性を評価すること。
• 提案手法が、畳み込みニューラルネットワークおよびビジョントランスフォーマーの両方で、スポーツ再識別において一般化可能であることを示すこと。

提案手法

• 識別子とカメラ視点ごとに訓練サンプルをグループ化する階層的データサンプリング手順を導入し、トレーニング中にバランスが取れ、代表的なバッチが得られるようにする。
• 特徴埋め込みとそのクラス固有の重心との間のL2（ユークリッド）距離に基づく重心損失関数を採用し、トリプレットマイニングを用いない。
• 階層的サンプリングとユークリッド重心損失を組み合わせることで、低データ条件下での埋め込みクラスタリングと一般化性能を向上させる。
• すべての実験で同じバックボーンネットワーク（例：OSNet、ViT-B/16）とハイパーパrameterを用い、提案されたコンponentsの効果を明確に分離する。
• 畳み込みネットワークとビジョントランスフォーマーの両方への適用により、アーキテクチャを問わず一貫した性能向上を示す。
• SoccerNet Re-Identification Challenge 2022データセットを用いて、パブリックおよびシークレットテストスプリットの両方で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 低ショット、高類似性のスポーツ再識別において、階層的サンプリングは訓練データとテストデータの分布ギャップを低減するか？
• RQ2 識別子あたりの訓練データが著しく限られた状況下で、より複雑なトリプレット・センタロスと比較して、単純なユークリッド重心損失が優れているか？
• RQ3 提案手法は、CNNおよびビジョントランスフォーマーの両方で、チームスポーツ映像における再識別性能を向上させることができるか？
• RQ4 階層的サンプリングを適用した場合、畳み込みネットワークとビジョントランスフォーマーが、重心損失なしで異なる性能トレンドを示すのはなぜか？
• RQ5 提案手法は、同様の視覚的課題を有する他のチームスポーツへも、どの程度一般化可能か？

主な発見

• 提案された階層的サンプリングとユークリッド重心損失の組み合わせにより、ネットワークやハイパーパrameterを変更せずにmAPが7–11.5、R1が8.8–14.9向上した。
• SoccerNet Re-Identification Challenge 2022のパブリックテストスプリットで、最先端のmAP 86.0およびR1 81.5を達成した。
• シークレットチャレンジスプリットでは、mAP 84.9、R1 80.1を達成し、強い一般化性能を確認した。
• 予想に反し、限られたデータ量の状況下で、単純なユークリッド重心損失がトリプレット・センタロスを上回った。
• 階層的サンプリングのみでも、ビジョントランスフォーマーではmAPが5.7–7.3、R1が6.9–9.4向上したが、一部の畳み込みネットワークではわずかに性能が低下した。
• ResNet50-fc512およびOSNet_x1_0、DeiTおよびViTアーキテクチャの両方で一貫した性能向上を示し、広範な適用可能性を示した。