[論文レビュー] Design and Implementation of A Soccer Ball Detection System with Multiple Cameras

Lei Li, Tianfang Zhang+2 more|arXiv (Cornell University)|Jan 31, 2023

Video Analysis and Summarization被引用数 4

ひとこと要約

本稿では、36台のカメラとディープラーニングを用いたリアルタイム3Dサッカー玉検出システムを提示する。YOLOベースのオブジェクト検出、マルチカメラ統合、バンドル調整を活用し、正確な3D局所化を実現する。遮蔽、運動、照明の変化といった課題にもかかわらず、高い精度とリアルタイム性能を達成しており、ライブスポーツ放送応用への成功した導入実績を有する。

ABSTRACT

The detection of small and medium-sized objects in three dimensions has always been a frontier exploration problem. This technology has a very wide application in sports analysis, games, virtual reality, human animation and other fields. The traditional three-dimensional small target detection technology has the disadvantages of high cost, low precision and inconvenience, so it is difficult to apply in practice. With the development of machine learning and deep learning, the technology of computer vision algorithms is becoming more mature. Creating an immersive media experience is considered to be a very important research work in sports. The main work is to explore and solve the problem of football detection under the multiple cameras, aiming at the research and implementation of the live broadcast system of football matches. Using multi cameras detects a target ball and determines its position in three dimension with the occlusion, motion, low illumination of the target object. This paper designed and implemented football detection system under multiple cameras for the detection and capture of targets in real-time matches. The main work mainly consists of three parts, football detector, single camera detection, and multi-cameras detection. The system used bundle adjustment to obtain the three-dimensional position of the target, and the GPU to accelerates data pre-processing and achieve accurate real-time capture of the target. By testing the system, it shows that the system can accurately detect and capture the moving targets in 3D. In addition, the solution in this paper is reusable for large-scale competitions, like basketball and soccer. The system framework can be well transplanted into other similar engineering project systems. It has been put into the market.

研究の動機と目的

• 複雑なスポーツ環境下で、小さく高速に動くオブジェクト（サッカー玉）のリアルタイム3D検出の課題に対処すること。
• 従来の3D検出システムの限界（高コスト、低精度、リアルタイム性能の低さ）を克服すること。
• サッカー、バスケットボールなどのスポーツにおけるライブ放送応用に適したスケーラブルで再利用可能なシステムを開発すること。
• 遮蔽、運動ブレ、不均一な照度といった実世界の条件でも耐性を持つこと。
• マルチカメラビジョンとディープラーニングを統合し、GPUアクセラレーションを活用したリアルタイム3Dトラッキングを実現すること。

提案手法

• 単一カメラ視点におけるリアルタイム2D玉検出に、YOLOベースのディーブラーニング畳み込みニューラルネットワーク（YOLOv3）を採用する。
• 推論のリアルタイム性を維持しながらも高い精度を保つために、モデル圧縮および最適化技術を適用する。
• 複数カメラ間の2D検出をトリアングレーションし、ボールの正確な3D位置を計算するためにバンドル調整を適用する。
• 36台のカメラからの高容量ビデオストリームを処理できる適応型ビデオ検出フレームワークを実装する。
• 低遅延要件を満たすために、データ前処理およびリアルタイム推論の両方をGPUアクセラレーションで実行する。
• データ前処理、単一カメラ検出、マルチカメラ統合の各モジュールを専用に設計したモジュラーシステムアーキテクチャを構築する。

Figure 1: Convolutional neural network extracted features

実験結果

リサーチクエスチョン

• RQ1 複数のカメラとディープラーニングを用いて、リアルタイムかつ高精度な3Dサッカー玉検出システムをどのように設計できるか？
• RQ2 動的なスポーツシーンにおける遮蔽、運動ブレ、照度変動を効果的に処理するにはどのような技術が必要か？
• RQ3 リアルタイムで、小さなオブジェクト（ボール）の正確な3D局所化を達成するために、マルチカメラ2D検出をどのように統合できるか？
• RQ4 大規模なカメラ構成においてリアルタイム推論を可能にしつつも、精度を維持するにはどの程度のモデル圧縮と最適化が必要か？
• RQ5 提案手法のシステムは、他のスポーツやトラッキング応用にどの程度再利用可能でスケーラブルか？

主な発見

• 本システムは、遮蔽や運動といった厳しい条件下でも、3Dでのボール検出とトラッキングを高い精度で実現した。
• モデル圧縮と最適化により、精度を損なわずにリアルタイム推論を実現でき、ライブ放送応用にとって不可欠な要件を満たした。
• バンドル調整により、小さなターゲットサイズ（画像面積の約2×10⁻⁵）であっても、マルチカメラ2D検出を効果的に統合し、正確な3Dボール局所化を達成した。
• 多様な照明条件や運動状態においても、本システムは高い耐性を示し、実世界への適用可能性を裏付けた。
• モジュラーサイズでスケーラブルな設計であるため、本フレームワークはバスケットボールを含む他のスポーツへの応用が可能であり、再利用性が確認された。
• 本システムは商業的に導入されており、ライブスポーツ環境における実用性とリアルタイム性能を実証した。

Figure 2: Convolutional neural network diagram.