[論文レビュー] Pan-tilt-zoom SLAM for Sports Videos

Jikai Lu, Jianhui Chen+1 more|arXiv (Cornell University)|Jul 20, 2019

Robotics and Sensor-Based Localization参考文献 43被引用数 7

ひとこと要約

本稿では、レイトレースに基づくランドマーク表現とオンラインパンチルトランダムフォレストを用いて、高速で動的なスポーツ映像におけるロバストなマッピングを実現する、新しいパンチルトズーム（PTZ）SLAMシステムを提案する。2点法を逐次データに拡張し、プレイヤー検出を統合して前面のオブジェクトの外れ値を抑制することで、ホモグラフィーに基づくベースラインと比較して、動的スポーツ映像におけるカメラポーズ推定精度とトラッキング安定性が顕著に向上した。

ABSTRACT

We present an online SLAM system specifically designed to track pan-tilt-zoom (PTZ) cameras in highly dynamic sports such as basketball and soccer games. In these games, PTZ cameras rotate very fast and players cover large image areas. To overcome these challenges, we propose to use a novel camera model for tracking and to use rays as landmarks in mapping. Rays overcome the missing depth in pure-rotation cameras. We also develop an online pan-tilt forest for mapping and introduce moving objects (players) detection to mitigate negative impacts from foreground objects. We test our method on both synthetic and real datasets. The experimental results show the superior performance of our method over previous methods for online PTZ camera pose estimation.

研究の動機と目的

• 高速で動的なスポーツ環境におけるパンチルトズーム（PTZ）カメラのトラッキングの課題に取り組む。ここでは、急激な運動と隠蔽が従来のSLAM性能を低下させる。
• 純粋な回転カメラにおける深度の曖昧さを解消するため、3次元点の代わりにレイトレースをランドマークとして導入する。
• リアルタイムのプレイヤー検出を統合して、動く体の上に存在するキーポイントをフィルタリングすることで、動く前面オブジェクト（例：プレイヤー）に対するロバスト性を向上させる。
• 拡張された2点法とEKFフィルタリング、およびオンラインパンチルトランダムフォレストによる再局在化を用いて、オンラインでリアルタイムのカメラポーズ推定を実現する。
• 合成データおよび実際のスポーツ映像データセットの両方で、ホモグラフィーに基づく手法やEKF-H手法と比較して優れた性能を示す。

提案手法

• システムは、パン、チルト、焦点距離でパrameter化された新しいカメラモデルを用い、外れ値に対してよりロバストな推定を実現するため、自由度を最小限に抑える。
• EKFを用いてマルチフレーム推定に拡張された2点法を用いて、オンラインでのカメラポーズトラッキングを実現する。
• 3次元構造を表現するために、マップ内にレイトレースをランドマークとして使用し、回転のみのカメラ運動に起因する深度の曖昧さを克服する。
• キーフレームから段階的に構築されるオンラインパンチルトランダムフォレスト（RF）を用いて、トラッキングが失敗した際の再局在化を支援する。
• 事前学習済みのオブジェクト検出器（例：Faster R-CNN）を用いたプレイヤー検出により、動く体を特定し、特徴マッチング時にプレイヤー領域上のキーポイントを破棄する。
• 再局在化には最近傍探索とRANSACベースの最適化を用いるが、テクスチャが豊富な背景において優れた識別性能を示すため、KDツリーではなくランダムフォレストを優先する。

実験結果

リサーチクエスチョン

• RQ1 PTZ SLAMシステムは、高動的なコンテンツを伴う高速で動くスポーツ映像において、安定的かつ正確なカメラポーズ推定を達成できるか？
• RQ2 従来の3次元点やホモグラフィーに基づく表現と比較して、ランドマークにレイトレースを用いることで、深度推定とトラッキングのロバスト性が向上するか？
• RQ3 プレイヤー検出を統合することで、動く前面オブジェクトが特徴トラッキングおよびポーズ推定に与える影響を顕著に低減できるか？
• RQ4 挑戦的なスポーツシーンにおいて、提案されたオンラインパンチルトランダムフォレストは、KDツリーに基づく最近傍探索と比較して優れた性能を示すか？
• RQ5 急速なカメラ運動下でも、ホモグラフィーに基づくアプローチと比較して、拡張された2点法が精度とドリフトの観点で優れているか？

主な発見

• 提案されたPTZ SLAMシステムは、バスケットボールやサッカーの映像において、長時間にわたるシーケンスを安定してカメラをトラッキングすることができ、急激なパン移動によってベースライン手法がトラッキングを失う状況でも継続的かつ正確なトラッキングを維持した。
• バスケットボールデータセットにおいて、EKF-Hは急激なカメラ移動時（図6の最初の緑色の半透明領域）にトラッキングを失ったが、本手法は著しく低い誤差で継続的な正確なトラッキングを維持した。
• 本手法は、全シーケンスにわたりEKF-Hよりもパン角度推定誤差が低く、急激なカメラ遷移後でも顕著なドリフトが生じなかった。
• プレイヤー検出により、動くプレイヤーに起因する誤った特徴マッチングの数が顕著に減少し、トラッキングの安定性とポーズ誤差の低減が達成された。
• オンラインパンチルトランダムフォレストは、繰り返しパターンを含む背景において、KDツリーに基づく最近傍探索を上回る性能を示した。
• 本システムは、大規模な公開実世界スポーツデータセットが不足する状況でも、合成データセットを用いた高密度なテストでロバスト性を示した。