[論文レビュー] Soccer Field Localization from a Single Image

Namdar Homayounfar, Sanja Fidler+1 more|arXiv (Cornell University)|Apr 10, 2016

Video Analysis and Summarization参考文献 18被引用数 4

ひとこと要約

本論文では、マルコフ確率場（MRF）における分枝限定法による推論を用いて、1枚の放送映像から完全自動でサッカー場を局所化する手法を提案する。4つの光線を用いて2つの検出された消失点から場の形状をモデル化し、芝生セグメンテーション、線分、円のポテンシャルを構造SVM学習と組み合わせることで、2014年FIFAワールドカップデータセット上で平均IOU 0.90を達成し、さまざまな照明条件や芝生のテクスチャ条件下でも頑健であることを示した。

ABSTRACT

In this work, we propose a novel way of efficiently localizing a soccer field from a single broadcast image of the game. Related work in this area relies on manually annotating a few key frames and extending the localization to similar images, or installing fixed specialized cameras in the stadium from which the layout of the field can be obtained. In contrast, we formulate this problem as a branch and bound inference in a Markov random field where an energy function is defined in terms of field cues such as grass, lines and circles. Moreover, our approach is fully automatic and depends only on single images from the broadcast video of the game. We demonstrate the effectiveness of our method by applying it to various games and obtain promising results. Finally, we posit that our approach can be applied easily to other sports such as hockey and basketball.

研究の動機と目的

• 手動の初期化や特殊なカメラ設定を必要とせず、完全自動で1枚の画像からのサッカー場局所化を可能にすること。
• 屋外スタジアムにおける変動する照明条件や芝生のテクスチャ条件下での場の局所化の課題に対処すること。
• 既知のフィールド幾何学的形状とマークイングを有する他のスポーツへ汎用性を持つ手法を開発すること。
• 画像の特徴のみを用いて、キーフレームベースのベースラインや手動初期化手法を上回ること。
• 放送映像からの3次元シーン理解を可能にすることで、スポーツアナリティクスにスケーラブルかつ効率的なソリューションを提供すること。

提案手法

• 複数の視覚的手がかりを組み合わせたエネルギー関数を用いるMRFにおける分枝限定法による推論として、場の局所化を定式化する。
• 2つの自動検出された水平方向の消失点から導かれる4本の光線を用いて、フィールドの外縁境界をパラメータライズする。
• セマンティックセグメンテーションを用いて芝生領域を特定し、MRFにおけるユニタリーポテンシャルとして利用する。
• 検出された画像上の線分と既知の3次元フィールドモデルとの幾何的整合性を強制する線分および円のポテンシャルを統合する。
• 訓練用のアノテート済み画像セットから構造SVMを用いてMRFポテンシャルの最適な重みを学習する。
• 分枝限定法による推論を実行し、1コアのCPU上で1フレームあたり平均0.7秒の推論時間を達成した。

実験結果

リサーチクエスチョン

• RQ1 手動の初期化や固定されたカメラキャリブレーションを必要とせず、1枚の放送映像から完全自動でサッカー場を局所化できるか？
• RQ2 芝生、線分、円といった複数の視覚的手がかりを統合することで、変動する照明条件やテクスチャ条件下での局所化精度がどの程度向上するか？
• RQ3 提案されたMRFベースの推論フレームワークは、最近接キーフレームのホモグラフィー転送に依存するキーフレームベースのベースラインを上回るか？
• RQ4 消失点や幾何的制約を用いることで、純粋に外観に依存する手法と比較して、どの程度頑健性が向上するか？
• RQ5 本手法は、既知のフィールド寸法と直線・円などの基本的マークイングを持つ他のスポーツへ汎用可能か？

主な発見

• 提案手法は、259枚の2014年ワールドカップデータセットのテストセットにおいて、平均IOUが0.90、中央値IOUが0.94を達成し、高い局所化精度を示した。
• 線分および円のポテンシャルを組み込むことで、芝生ポテンシャルのみを用いた場合（平均IOU 0.57）と比較してIOUが約30%向上した。
• 最高性能を示した設定は、芝生ポテンシャルに4つの別々の重み、垂直線に1つの共有重み、水平線に1つの共有重み、円に1つの共有重みを用いており、最高のIOUを達成した。
• 芝生セグメンテーションに基づく最近接キーフレーム法と線分距離変換に基づく2つのベースラインと比較して、平均IOUで34%高い性能を示し、キーフレーム転送手法を上回ることを実証した。
• 平均推論時間は1フレームあたり0.7秒で、平均して2,964回の分枝限定法イテレーションを経ており、リアルタイム動画処理に実用的である。
• 失敗事例の主な原因は円ポテンシャルの検出誤りであり、視界不良や遮蔽条件下での円形マークの局所化に脆弱であることが示唆された。