[논문 리뷰] Efficient Golf Ball Detection and Tracking Based on Convolutional Neural Networks and Kalman Filter

Tianxiao Zhang, Xiaohan Zhang외 3명|arXiv (Cornell University)|2020. 12. 17.

Video Analysis and Summarization참고 문헌 42인용 수 10

한 줄 요약

이 논문은 YOLOv3, YOLOv4, Faster R-CNN, SSD, RefineDet를 사용하여 자르힌 이미지 패치에서 객체 검출을 수행하고, 운동 예측을 위해 칼만 필터를 결합한 실시간 골프공 검출 및 추적 시스템을 제안한다. 이 방법은 높은 정확도와 빠른 속도를 달성하였으며, Faster R-CNN이 가장 우수한 추적 성능(IOU 0.25 기준 mAP 46.78%)을 보였고, YOLOv3 tiny는 가장 빠른 추론 속도를 기록하였다.

ABSTRACT

This paper focuses on the problem of online golf ball detection and tracking from image sequences. An efficient real-time approach is proposed by exploiting convolutional neural networks (CNN) based object detection and a Kalman filter based prediction. Five classical deep learning-based object detection networks are implemented and evaluated for ball detection, including YOLO v3 and its tiny version, YOLO v4, Faster R-CNN, SSD, and RefineDet. The detection is performed on small image patches instead of the entire image to increase the performance of small ball detection. At the tracking stage, a discrete Kalman filter is employed to predict the location of the ball and a small image patch is cropped based on the prediction. Then, the object detector is utilized to refine the location of the ball and update the parameters of Kalman filter. In order to train the detection models and test the tracking algorithm, a collection of golf ball dataset is created and annotated. Extensive comparative experiments are performed to demonstrate the effectiveness and superior tracking performance of the proposed scheme.

연구 동기 및 목표

• 비디오 시퀀스에서 작고 빠르게 움직이는 골프공의 실시간 검출 및 추적에 도전한다.
• 골프공의 크기가 작고 운동 블러가 발생함에 따라 전통적인 컴퓨터 비전 및 객체 추적 방법이 실패하는 문제를 해결한다.
• 전체 해상도 프레임 대신 작은 이미지 패치를 사용하여 미니어처 객체의 검출 정확도를 향상시킨다.
• 검출 모델을 훈련하고 평가하기 위해 정확한 애너테이션을 포함한 커스터마이즈된 골프공 데이터셋을 구축한다.
• 다이나믹한 조건에서 검출 지연과 오차를 줄이기 위해 골프공의 운동을 예측하고 추적 성능을 향상시키기 위해 칼만 필터를 통합한다.

제안 방법

• 작은 자른 이미지 패치에 최신 기술 기반의 CNN 기반 객체 검출기(YOLOv3, YOLOv4, Faster R-CNN, SSD, RefineDet)를 적용하여 작고 작은 골프공의 검출 성능을 향상시킨다.
• 이전 상태 기반으로 골프공의 다음 위치를 예측하기 위해 이산 칼만 필터를 사용한다. 이를 통해 효율적인 관심 영역(ROI) 자르기 가능하다.
• 칼만 필터의 예측 위치 주변에 작은 이미지 패치를 자르어 계산 부담을 줄이고 검출 정확도를 향상시킨다.
• 객체 검출기를 통해 검출된 공의 위치를 보정하고, 반복적으로 칼만 필터 파rameter를 업데이트하여 견고한 추적을 구현한다.
• 데이터셋에서 골프공의 크기가 작기 때문에 Faster R-CNN의 앵커 스케일을 8, 16, 32로 맞춤 설정하여 더 나은 피팅을 확보한다.
• 새로운 커스터마이즈된 애너테이션을 포함한 골프공 데이터셋(스윙 및 퍼팅 시퀀스 포함)을 활용해 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 작고 빠르게 움직이는 골프공을 실시간으로 검출할 때, CNN 기반 객체 검출기가 높은 정확도와 실시간 성능를 달성할 수 있는가?
• RQ2 칼만 필터 예측 중심의 이미지 패치를 사용할 경우, 전체 프레임 검출 대비 검출 정확도가 향상되는가?
• RQ3 다양한 최신 기술 기반 객체 검출기(YOLOv3, Faster R-CNN, SSD 등)가 골프공 추적에서 속도, 정밀도 및 성공률 측면에서 어떻게 비교되는가?
• RQ4 라벨링 오차가 골프공과 같은 작은 물체의 mAP 평가에 미치는 영향은 어느 정도이며, IOU 임계치 선택이 성능에 어떤 영향을 미치는가?
• RQ5 칼만 필터 기반 추적 프레임워크는 작고 고속도로 움직이는 물체의 추적에서 유연성과 효율성을 크게 향상시킬 수 있는가?

주요 결과

• Faster R-CNN이 IOU 0.25 기준으로 가장 높은 평균 정밀도(mAP) 46.78%를 기록하여 다른 모델들보다 우수한 추적 정확도를 확보하였다.
• YOLOv3 tiny는 경쟁적인 정확도를 유지하면서도 가장 빠른 추론 속도를 기록하여 실시간 응용에 가장 적합하였다.
• 전체 해상도 이미지 대비 작은 이미지 패치를 사용할 경우 검출 성능이 크게 향상되었는데, 이는 자른 영역에서 공이 더 크게 보이기 때문이다.
• 제안된 방법은 골프공이 6×6 픽셀로 줄어들었을 때조차도 안정적이고 정확한 추적을 가능케 하여 기존 방법이 실패하는 상황에서도 유의미한 성능을 보였다.
• 라벨링 오차는 IOU 평가에 상당한 영향을 미쳤다. 특히 공이 작을 경우(예: 1픽셀 오차로 6×6 크기에서 최대 33% IOU 감소) IOU 0.25를 mAP 평가에 사용하는 것이 타당하다고 판단할 수 있었다.
• 10개의 시퀀스(스윙 6개, 퍼팅 4개)를 포함한 커스터마이즈된 골프공 데이터셋은 다양한 운동 패턴에서 일관된 성능을 보이며 효과적인 훈련과 평가를 가능케 하였다.