[論文レビュー] Automated Top View Registration of Broadcast Football Videos

Rahul Sharma, Bharath Bhat+2 more|arXiv (Cornell University)|Mar 4, 2017

Video Analysis and Summarization参考文献 22被引用数 9

ひとこと要約

本論文は、合成されたエッジマップと射影変換の辞書を用いた最近傍探索としてホモグラフィ推定を定式化することで、放送映像のサッカー動画を静的トップビューのフィールドモデルに完全自動で登録する手法を提案する。最適化後、平均IOUが87%に達し、手動初期化手法を上回り、人為的介入なしに堅牢でスケーラブルなサッカー動画解析を実現する。

ABSTRACT

In this paper, we propose a novel method to register football broadcast video frames on the static top view model of the playing surface. The proposed method is fully automatic in contrast to the current state of the art which requires manual initialization of point correspondences between the image and the static model. Automatic registration using existing approaches has been difficult due to the lack of sufficient point correspondences. We investigate an alternate approach exploiting the edge information from the line markings on the field. We formulate the registration problem as a nearest neighbour search over a synthetically generated dictionary of edge map and homography pairs. The synthetic dictionary generation allows us to exhaustively cover a wide variety of camera angles and positions and reduce this problem to a minimal per-frame edge map matching procedure. We show that the per-frame results can be improved in videos using an optimization framework for temporal camera stabilization. We demonstrate the efficacy of our approach by presenting extensive results on a dataset collected from matches of football World Cup 2014.

研究の動機と目的

• 点対応ではなくエッジ特徴を活用することで、サッカー動画登録における手動初期化を排除すること。
• 放送サッカー動画におけるテクスチャの欠如したフィールドと動的なカメラの動きの課題に対処すること。
• 半教師付きの合成辞書生成アプローチを用いて、スケーラブルかつ自動化されたトップビュー登録を実現すること。
• MRFと凸最適化を用いた時間的最適化により、1フレームごとの登録精度を向上させること。
• 専用カメラシステムの必要性を回避し、自由に入手可能な放送映像から高品質なサッカー追跡データを入手可能にすること。

提案手法

• 本手法は、事前に計算された合成エッジマップとホモグラフィペアの辞書内での最近傍探索としてホモグラフィ推定を定式化する。
• 半教師付きアプローチにより、少数の手動でアノテートされた例からカメラの視点をシミュレートし、多様な角度と位置をカバーする辞書を生成する。
• エッジ特徴はHOG、チャメルマッチング、CNNベースの特徴を用い、HOG + k-NNが大規模なアノテーションを必要とせずに競争力ある性能を示す。
• 1フレームごとのホモグラフィ予測は、時間的整合性を向上させるためにマルコフ確率場（MRF）最適化により精錬される。
• 凸最適化フレームワークによりカメラの動きを滑らかにし、ジターリダムを低減し、プロフェッショナルなカメラの挙動を模倣する。
• 推定されたホモグラフィを用いて、放送フレーム上の選手位置をトップビューのモデルに投影し、後続の分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 手動初期化なしに、完全自動で放送サッカー動画を静的トップビューのフィールドモデルに登録できるか？
• RQ2 フィールドのマークから得られるエッジ特徴は、テクスチャが欠如した動的なシーンでも信頼性を持ってホモグラフィを推定できるか？
• RQ3 合成されたエッジマップとホモグラフィの辞書は、実世界のカメラの変動を十分にカバーできるか？
• RQ4 時間的最適化は、1フレームごとのホモグラフィ推定の精度と安定性を向上させることができるか？
• RQ5 ズーム、ブレ、影、ショット変更を伴う実際の放送映像に対しても、この手法はどの程度一般化可能か？

主な発見

• 本手法は、1フレームごとのホモグラフィ推定で平均IOUが85%を達成し、同じデータセット上でSIFTベースのトラッカー（70%）やKLTベースの手法（35%）を顕著に上回る。
• MRFベースの最適化を適用した後、平均IOUは87%に向上し、時間的スムージングの有効性が裏付けられた。
• 定性的な結果から、影、ブレ、極端なカメラアングル、ズームの変化といった困難な状況に対しても、本手法は効果的に対処できている。
• カメラの動き軌跡の凸最適化により、ジターリダムが効果的に除去され、滑らかでプロフェッショナルなカメラ挙動が得られ、パン角度曲線の可視化から明らかである。
• 半教師付きの辞書生成により、何千枚もの画像の手動ラベル付けを必要とせずに、多様なカメラの視点を堅牢にカバーできる。
• 本手法は完全自動かつスケーラブルであり、専用カメラの設置を要せず、標準的な放送映像から高品質なトップビュー追跡データを入手可能にする。