[논문 리뷰] Design and Implementation of A Soccer Ball Detection System with Multiple Cameras

Lei Li, Tianfang Zhang외 2명|arXiv (Cornell University)|2023. 01. 31.

Video Analysis and Summarization인용 수 4

한 줄 요약

이 논문은 36대의 카메라와 딥러닝을 활용한 실시간 3D 축구공 검출 시스템을 제안한다. YOLO 기반 객체 검출, 다중 카메라 융합, 번들 조정을 통해 정밀한 3D 위치 추정을 구현한다. 음영, 움직임, 조도 변화와 같은 과제에도 불구하고 높은 정확도와 실시간 성능을 달성하였으며, 실시간 스포츠 방송 응용 분야에 성공적으로 구현되었다.

ABSTRACT

The detection of small and medium-sized objects in three dimensions has always been a frontier exploration problem. This technology has a very wide application in sports analysis, games, virtual reality, human animation and other fields. The traditional three-dimensional small target detection technology has the disadvantages of high cost, low precision and inconvenience, so it is difficult to apply in practice. With the development of machine learning and deep learning, the technology of computer vision algorithms is becoming more mature. Creating an immersive media experience is considered to be a very important research work in sports. The main work is to explore and solve the problem of football detection under the multiple cameras, aiming at the research and implementation of the live broadcast system of football matches. Using multi cameras detects a target ball and determines its position in three dimension with the occlusion, motion, low illumination of the target object. This paper designed and implemented football detection system under multiple cameras for the detection and capture of targets in real-time matches. The main work mainly consists of three parts, football detector, single camera detection, and multi-cameras detection. The system used bundle adjustment to obtain the three-dimensional position of the target, and the GPU to accelerates data pre-processing and achieve accurate real-time capture of the target. By testing the system, it shows that the system can accurately detect and capture the moving targets in 3D. In addition, the solution in this paper is reusable for large-scale competitions, like basketball and soccer. The system framework can be well transplanted into other similar engineering project systems. It has been put into the market.

연구 동기 및 목표

• 복잡한 스포츠 환경에서 작은 크기이면서 빠르게 움직이는 물체(예: 축구공)에 대한 실시간 3D 검출 과제를 해결한다.
• 기존 3D 검출 시스템의 한계(높은 비용, 낮은 정밀도, 열악한 실시간 성능)를 극복한다.
• 축구 및 농구와 같은 스포츠에서 실시간 브로드캐스트 응용을 위해 확장 가능하고 재사용 가능한 시스템을 개발한다.
• 음영, 움직임 블러, 비균일한 조명과 같은 실제 환경 조건에서도 강건성을 확보한다.
• 다중 카메라 시각 기반 딥러닝을 통합하여 GPU 가속 처리를 활용해 정확하고 실시간으로 공을 3D 추적한다.

제안 방법

• 단일 카메라 시각에서 실시간 2D 공 검출을 위해 YOLO 기반 딥 컨volution 네트워크(YOLOv3)를 활용한다.
• 고정밀도를 유지하면서 실시간 추론이 가능하도록 모델 압축 및 최적화 기법을 적용한다.
• 다중 카메라 간 2D 검출을 삼각측량하여 정확한 공의 3D 위치를 계산하기 위해 번들 조정을 적용한다.
• 36대의 카메라에서 유입되는 고속도 영상 스트림을 처리하기 위해 적응형 영상 검출 프레임워크를 구현한다.
• 저지연성 요구 사항을 충족하기 위해 데이터 전처리 및 실시간 추론에 GPU 가속을 활용한다.
• 데이터 전처리, 단일 카메라 검출, 다중 카메라 융합 전용 모듈을 포함한 모듈식 시스템 아키텍처를 설계한다.

Figure 1: Convolutional neural network extracted features

실험 결과

연구 질문

• RQ1 다수의 카메라와 딥러닝을 활용해 실시간 고정밀도 3D 축구공 검출 시스템을 어떻게 설계할 수 있는가?
• RQ2 다이나믹한 스포츠 장면에서 음영, 움직임 블러, 조도 변화를 효과적으로 다룰 수 있는 기법은 무엇인가?
• RQ3 실시간으로 작은 물체(공)의 정확한 3D 위치를 확보하기 위해 다중 카메라 2D 검출을 어떻게 융합할 수 있는가?
• RQ4 대규모 카메라 설정 환경에서 실시간 추론을 가능하게 하면서도 정확도를 유지하기 위해 필요한 모델 압축 및 최적화 수준은 어느 정도인가?
• RQ5 제안된 시스템이 다른 스포츠나 추적 응용 분야로의 재사용 및 확장 가능성은 어느 정도인가?

주요 결과

• 시스템은 음영, 움직임과 같은 도전적인 조건에서도 공을 높은 정확도로 3D로 검출하고 추적하는 데 성공하였다.
• 모델 압축 및 최적화 기법 덕분에 정확도를 유지하면서도 실시간 추론이 가능해졌으며, 이는 실시간 브로드캐스트 응용에 매우 중요하다.
• 번들 조정을 통해 다중 카메라 2D 검출을 효과적으로 융합하여, 매우 작은 대상 크기(약 2×10⁻⁵의 이미지 영역)에서도 정밀한 3D 공 위치를 확보하였다.
• 다양한 조도 및 운동 조건에서 뛰어난 성능을 보이며 실제 적용 가능성에 대한 타당성을 입증하였다.
• 모듈식이고 확장 가능한 설계 덕분에 시스템은 농구와 같은 다른 스포츠로도 이식 가능하고 재사용 가능하다.
• 시스템은 상용으로 구현되어 실시간 스포츠 환경에서의 실용성과 실시간 성능을 확인하였다.

Figure 2: Convolutional neural network diagram.