[論文レビュー] Knock, knock. Who's there? -- Identifying football player jersey numbers with synthetic data

Divya Bhargavi, Erika Pelaez Coyotl+1 more|arXiv (Cornell University)|Mar 1, 2022

Video Analysis and Summarization被引用数 4

ひとこと要約

本稿では、合成データ増強とポーズガイドドローカライゼーションを用いて、低データ量で極めて不均衡なデータセットにおけるサッカーユニフォーム背番番号の検出のための軽量で2段階のアプローチを提案する。事前学習済みモデルを用いて人物検出と人体ポーズ推定を行い、胴体領域を切り出すことで、背番番号のバウンディングボックスアノテーションの必要性を排除する。合成データセット（Simple2DおよびComplex2D）上で軽量のCNNを学習させることで、89%の精度を達成し、ベースラインモデル比で9%の向上を示した。これは、最小限のアノテーション作業で最先端の性能を達成したことを示している。

ABSTRACT

Automatic player identification is an essential and complex task in sports video analysis. Different strategies have been devised over the years, but identification based on jersey numbers is one of the most common approaches given its versatility and relative simplicity. However, automatic detection of jersey numbers is still challenging due to changing camera angles, low video resolution, small object size in wide-range shots and transient changes in the player's posture and movement. In this paper we present a novel approach for jersey number identification in a small, highly imbalanced dataset from the Seattle Seahawks practice videos. Our results indicate that simple models can achieve an acceptable performance on the jersey number detection task and that synthetic data can improve the performance dramatically (accuracy increase of ~9% overall, ~18% on low frequency numbers) making our approach achieve state of the art results.

研究の動機と目的

• 低データ量で極めて不均衡なデータセットにおけるサッカーユニフォーム背番番号検出の課題に対処すること。
• 背番番号の位置に対するバウンディングボックスアノテーションの必要性を排除することで、アノテーション負荷を低減すること。
• 合成データを用いることで、低リソース環境におけるモデルの汎化性能と性能を向上させること。
• 限られた実世界データしかないスポーツ動画解析に適用可能なスケーラブルで最小限の監督信号を要するパイプラインを開発すること。
• 合成データによる事前学習を施した軽量モデルが、背番番号検出において最先端の結果を達成できることを示すこと。

提案手法

• 事前学習済みの人物検出モデルを用いて、動画フレーム内のプレイヤーを局所化し、切り出す。
• 事前学習済みの人体ポーズ推定モデルを用いて、胴体のキーポoinを特定し、ユニフォーム領域を局所化することで、背番番号のバウンディングボックスアノテーションを回避する。
• 切り出した胴体画像（平均20×25px）を、2つの軽量CNNに供給する。1つは2桁の多クラス数字認識用、もう1つは多ラベルの桁ごとの検出用。
• 2種類の合成データジェネレータ—Simple2D（フォントと色）とComplex2D（COCO画像に重ねる）—を用いて、訓練データを増強し、耐性を高める。
• モデルは合成データで事前学習し、実世界のシーヅル・セーホークスの練習動画で微調整することで、汎化性能を向上させる。
• 多クラスおよび多ラベルモデルのアンサンブルが、最終的な89%の精度を達成した。

実験結果

リサーチクエスチョン

• RQ1 合成データ生成は、低データ量で不均衡な背番番号検出タスクにおいて、性能を顕著に向上させることができるか？
• RQ2 バウンディングボックスアノテーションが不要な状況でも、ポーズ推定を効果的に用いて背番番号を局所化できるか？
• RQ3 合成データで事前学習することで、特に低頻度の数字に対して、精度向上が測定可能になるか？
• RQ4 合成データとポーズガイドドクローニングを組み合わせた軽量CNNが、最先端の性能を達成できるか？
• RQ5 合成データは、極めて不均衡な実世界のスポーツ動画データセットにおける汎化性能をどの程度向上させるか？

主な発見

• アンサンブルモデルはテストセットで89%の精度を達成し、実データでのみ学習されたベースラインモデル比で9%の向上を示した。
• 合成データの使用により、低頻度の背番番号では18%の精度上昇が見られ、希少クラスに対する強い汎化性能が裏付けられた。
• Complex2Dで生成された合成データで事前学習したモデルが最も高い性能を示し、アンサンブルモデルで83.06%の精度を記録した。
• データ収集パイプラインの変更や追加のハードウェアセンサーの導入なしに、最先端の性能を達成した。
• 入力画像の品質と解像度が重要な要因であることが判明し、信頼度は入力の明瞭さと直接相関していた。
• データの複製や標準的な画像増幅では改善が得られなかったことから、単純な増幅手法よりも高品質な合成データの価値が浮き彫りになった。