[論文レビュー] A Two-point Method for PTZ Camera Calibration in Sports

Jianhui Chen, Fangrui Zhu+1 more|arXiv (Cornell University)|Jan 26, 2018

Advanced Vision and Imaging参考文献 30被引用数 6

ひとこと要約

本稿では、カメラベースの位置と姿勢に関する事前知識を用いて、スポーツ動画におけるPTZカメラを2点のみで正確にキャリブレーションする二点法を提案する。これにより、3次元世界点とその2次元投影点の対応関係を2組のみでカメラ姿勢（パン、チルト、焦点距離）を推定可能となる。さらに、画像同士のマッチングを必要とせず、局所的な画像パッチからカメラのパン・チルト角度を予測するパンチルトフォレストランダムフォレストモデルを導入し、合成および実際のサッカー動画データ上で、最先端の手法よりも高速かつ高精度なキャリブレーションを実現した。

ABSTRACT

Calibrating narrow field of view soccer cameras is challenging because there are very few field markings in the image. Unlike previous solutions, we propose a two-point method, which requires only two point correspondences given the prior knowledge of base location and orientation of a pan-tilt-zoom (PTZ) camera. We deploy this new calibration method to annotate pan-tilt-zoom data from soccer videos. The collected data are used as references for new images. We also propose a fast random forest method to predict pan-tilt angles without image-to-image feature matching, leading to an efficient calibration method for new images. We demonstrate our system on synthetic data and two real soccer datasets. Our two-point approach achieves superior performance over the state-of-the-art method.

研究の動機と目的

• 視界に映るフィールドマークが極めて少ないスポーツ動画における狭角PTZカメラのキャリブレーションの課題に対処すること。
• 従来のキャリブレーションパイプラインで時間のかかる手動アノテーションや画像間特徴マッチングに依存するのを減らすこと。
• 既知のカメラベースパラメータを活用することで、2点の対応関係のみで効率的かつ高精度なキャリブレーションを実現すること。
• 参照画像とのマッチングを必要とせず、局所的な画像記述子からパン・チルト角度を直接予測する高速な予測手法を開発すること。
• 実世界および合成されたサッカー動画データセットにおいて、最先端の手法と比較して高いロバスト性と優れた性能を示すことを実証すること。

提案手法

• 本手法は、固定されたカメラベースの位置と姿勢を仮定し、2つの3次元世界点とその2次元投影点からカメラ姿勢（パン、チルト、焦点距離）を推定する二点アルゴリズムを用いる。
• 正規化された3次元座標と点対応関係から導出される二次方程式を用いて、焦点距離の閉形式解を導出する。
• パン・チルトフォレストは、局所的なSIFT記述子を用いたランダムフォレスト回帰により学習され、画像パッチから直接パンおよびチルト角度を予測する。
• パン・チルトフォレストは、参照画像データベース全体にわたる局所的画像特徴とカメラ角度のマッピングを学習することで、画像間の特徴マッチングを回避する。
• RANSACを用いてカメラ姿勢最適化を実施し、予測された角度を初期推定値として用いることで、特徴ノイズに対するロバスト性を向上させる。
• 本手法はレンズ歪みを仮定せず、2点からの内在パrameterと外在パラメータを同時に推定する簡略化されたカメラモデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 視界に映るフィールドマークが2点のみの狭角PTZカメラにおいて、二点キャリブレーション手法が高精度なカメラ姿勢推定を達成できるか？
• RQ2 ランダムフォレストベースのパンチルト予測モデルは、画像間特徴マッチングの必要性を排除し、キャリブレーションを著しく高速化できるか？
• RQ3 本手法は、実際および合成されたサッカー動画データ上で、最先端のキャリブレーション技術と比較して、精度と速度の両面で優れているか？
• RQ4 特徴点の位置のノイズやカメラベースパラメータの不確実性が生じた場合、本手法はどの程度ロバスト性を保っているか？
• RQ5 本二点法は、類似したカメラ制約と限られたフィールドマークを持つ他のスポーツにも一般化可能か？

主な発見

• 二点法は、合成および実際のサッカー動画データセットの両方で、最先端の手法と比較して優れたキャリブレーション精度を達成した。
• パンチルトフォレスト手法により、画像間特徴マッチングの必要性が排除され、新規画像への推論が高速化された。
• 特徴点位置のノイズやカメラ中心推定の不確実性に対しても、本手法は高い精度を維持するというロバスト性を示した。
• パンチルトフォレストの性能は、木の数がたった5本でも向上し、最小限のモデル複雑性で効率的な学習が可能であることを示した。
• 本システムは、2つの実際のサッカー動画データセットに対しても、既存の手法よりも高い精度と低い実行時間で画像をキャリブレーションに成功した。
• 本手法は、2点のフィールドポイントしか見えない状況でも効果を発揮し、スポーツ放送で一般的に用いられる狭角FOVのPTZカメラに適している。