[論文レビュー] Sports Camera Calibration via Synthetic Data

Jianhui Chen, James J. Little|arXiv (Cornell University)|Oct 25, 2018

Human Pose and Action Recognition参考文献 24被引用数 5

ひとこと要約

本稿では、合成データとディープラーニングを用いた高自動化されたスポーツカメラキャリブレーション手法を提案する。独自の3パラメータカメラポーズエンジンを導入して合成エッジ画像を生成し、コンactな特徴量学習のためのシames型ネットワークを訓練し、耐障害性の高いフィールドマーキング検出のための二重GANモデルを採用する。標準サッカーデータセットでは最先端の精度を達成し、バドミントンデータセットでは97.6%の平均IoUを達成した。

ABSTRACT

Calibrating sports cameras is important for autonomous broadcasting and sports analysis. Here we propose a highly automatic method for calibrating sports cameras from a single image using synthetic data. First, we develop a novel camera pose engine. The camera pose engine has only three significant free parameters so that it can effectively generate a lot of camera poses and corresponding edge (i.e, field marking) images. Then, we learn compact deep features via a siamese network from paired edge image and camera pose and build a feature-pose database. After that, we use a novel two-GAN (generative adversarial network) model to detect field markings in real images. Finally, we query an initial camera pose from the feature-pose database and refine camera poses using truncated distance images. We evaluate our method on both synthetic and real data. Our method not only demonstrates the robustness on the synthetic data but also achieves the state-of-the-art accuracy on a standard soccer dataset and very high performance on a volleyball dataset.

研究の動機と目的

• 人為的介入を最小限に抑えた、スポーツ動画向けの完全自動カメラキャリブレーション手法の開発を目的とする。
• 多様なスポーツ環境（カメラ位置やフィールドマーキングの違いを含む）において、1枚の画像からのカメラポーズ推定の課題に対処することを目的とする。
• 合成データとディープラーニングを活用して、異なるスポーツスタジアムや照明条件に対しても、キャリブレーションの耐障害性と精度を向上させることを目的とする。
• スポーツカメラ設置における空間的・角度的事前知識（例：ミドルライン付近、制限されたチルト角）を活用し、ポーズ推定問題の簡素化を図ることを目的とする。
• 特に、フィールドマーキングが限界的または不均一に分布している状況においても、高精度なキャリブレーションを達成することを目的とする。

提案手法

• カメラポーズと対応する合成エッジ画像を生成可能な、3つの主要パラメータ（パン、チルト、焦点距離）のみを有する新規カメラポーズエンジンを設計した。
• ペアドエッジ画像とカメラポーズから、コンパクトな16次元特徴量を学習するためのシames型ディープネットワークを訓練した。これにより、特徴量-ポーズデータベースの構築が効率的に行える。
• 二重GANモデルを導入した：一方のGANはフィールドマーキングのインスタンスセグメンテーションを実行し、他方のGANはLKベースの高密度オプティカルフローに類似したワープ処理を実行して検出精度を向上させる。
• 学習された特徴量をその対応するカメラポーズにマッピングすることで、推論時における高速な最近傍探索（Nearest-Neighbor Retrieval）が可能な特徴量-ポーズデータベースを構築した。
• 初期カメラポーズはデータベースから取得し、検出されたフィールドマーキングからの幾何的制約を符号化した切り捨て距離画像（truncated distance images）を用いて精緻化した。
• ハイブリッドアプローチを採用：学習には合成データ、実画像の検出にはGAN、幾何的精緻化により精度向上を図った。

実験結果

リサーチクエスチョン

• RQ1 1枚の画像と合成データのみを用いて、推論時に手動アノテーションを一切不要とする高自動化カメラキャリブレーションシステムを構築可能か？
• RQ2 スポーツカメラ設置における空間的・角度的事前知識（例：ミドルライン付近、制限されたチルト角）を活用することで、キャリブレーションの簡素化と精度向上が図れるか？
• RQ3 16次元というコンパクトな特徴量を有するシames型ネットワークが、エッジ画像からの実世界カメラポーズ抽出にどれほど一般化可能か？
• RQ4 二重GANアーキテクチャは、影や部分的可視性といった困難な条件下でも、疎で不規則なフィールドマーキングを効果的に検出できるか？
• RQ5 標準的および非標準的スポーツデータセットにおいて、従来の最先端手法と比較して、本手法の精度と耐障害性はどの程度優れているか？

主な発見

• 標準サッカーデータセットでは、先行手法を上回るカメラポーズ推定精度を達成し、最先端の性能を示した。
• バドミントンデータセットでは、平均IoUが97.6%、中央値IoUが98.8%を達成し、マーキングが少ない状況でも非常に高い性能を示した。
• 二重GANモデルはフィールドマーキング検出を著しく向上させた。アブレーションスタディでは、セグメンテーション用GANとLKベースのワープ処理の両方が最終精度に寄与していることが示された。
• マーキングが部分的に遮られたり不均等に分布していても、本手法は耐障害性を保った。ただし、強い影が存在すると検出精度が低下し、結果としてポーズ推定精度が低下した。
• HOG特徴量ベースラインは精度では同等であったが、特徴量次元が1,860D（16D対比）とはるかに大きく、本手法のシames型ネットワークの特徴量のコンパクトさが顕著に示された。
• カメラ位置のスタジアム間での変動に対しても本手法は耐障害性を示した。本手法はカメラ位置の正確な位置を前提としないが、それに対して、他の手法は正確な位置を必要としている。