[論文レビュー] Efficient Golf Ball Detection and Tracking Based on Convolutional Neural Networks and Kalman Filter

Tianxiao Zhang, Xiaohan Zhang+3 more|arXiv (Cornell University)|Dec 17, 2020

Video Analysis and Summarization参考文献 42被引用数 10

ひとこと要約

本稿では、クロップされた画像パッチにおける物体検出にYOLOv3、YOLOv4、Faster R-CNN、SSD、RefineDetを用い、運動予測にカルマンフィルタを組み合わせたリアルタイムゴルフボール検出・トラッキングシステムを提案する。この手法は高い精度と速度を達成しており、Faster R-CNNが最良のトラッキング性能を示した（IOU 0.25におけるmAP 46.78%）、一方YOLOv3 tinyは最も高速な推論レートを達成した。

ABSTRACT

This paper focuses on the problem of online golf ball detection and tracking from image sequences. An efficient real-time approach is proposed by exploiting convolutional neural networks (CNN) based object detection and a Kalman filter based prediction. Five classical deep learning-based object detection networks are implemented and evaluated for ball detection, including YOLO v3 and its tiny version, YOLO v4, Faster R-CNN, SSD, and RefineDet. The detection is performed on small image patches instead of the entire image to increase the performance of small ball detection. At the tracking stage, a discrete Kalman filter is employed to predict the location of the ball and a small image patch is cropped based on the prediction. Then, the object detector is utilized to refine the location of the ball and update the parameters of Kalman filter. In order to train the detection models and test the tracking algorithm, a collection of golf ball dataset is created and annotated. Extensive comparative experiments are performed to demonstrate the effectiveness and superior tracking performance of the proposed scheme.

研究の動機と目的

• ビデオシーケンスにおける小型で高速移動するゴルフボールのリアルタイム検出とトラッキングの課題に対処すること。
• ボールのサイズが小さく、運動ブラーが生じるため、従来のコンピュータビジョンおよび物体トラッキング手法が失敗するという制限を克服すること。
• フル解像度フレームではなく、小さな画像パッチを用いることで、極小オブジェクトの検出精度を向上させること。
• 検出モデルの学習と評価に使用可能な正確なアノテーションを有するカスタムゴルフボールデータセットを構築すること。
• 動的条件下での検出遅延と誤差を低減するために、ボールの運動を予測し、効率的な領域オブイント（ROI）クロッピングを可能にするカルマンフィルタを統合すること。

提案手法

• 小型のクロップ画像パッチに、最新のCNNベースの物体検出器（YOLOv3、YOLOv4、Faster R-CNN、SSD、RefineDet）を適用することで、極小ゴルフボールの検出を向上させる。
• 離散カルマンフィルタを用い、過去の状態に基づいてゴルフボールの次回位置を予測する。これにより、効率的な領域オブイント（ROI）クロッピングが可能になる。
• カルマンフィルタの予測位置を中心に小さな画像パッチをクロップすることで、計算負荷を低減し、検出精度を向上させる。
• 物体検出器を用いて検出位置を精緻化し、反復的にカルマンフィルタのパラメータを更新することで、頑健なトラッキングを実現する。
• データセットにおけるゴルフボールの小さなサイズに適合させるために、Faster R-CNNのアンカーサイズを（8, 16, 32）にカスタマイズする。
• スイングおよびパットのシーケンスを含む、新たに作成されたアノテート済みゴルフボールデータセット上でモデルを学習および評価する。

実験結果

リサーチクエスチョン

• RQ1 小型で高速移動するゴルフボールをビデオシーケンスで検出する際、CNNベースの物体検出器は高い精度とリアルタイム性能を達成できるか？
• RQ2 カルマンフィルタの予測位置を中心とした画像パッチを用いることで、フルフレーム検出に比べて検出精度が向上するか？
• RQ3 YOLOv3、Faster R-CNN、SSDなどの最新の物体検出器は、ゴルフボールトラッキングにおいて、速度、精度、成功確率の観点でどのように比較できるか？
• RQ4 ラベル付け誤差は、ゴルフボールのような極小オブジェクトのmAP評価にどの程度の影響を及ぼすか？また、IOUしきい値の選定が性能に与える影響は？
• RQ5 カルマンフィルタベースのトラッキングフレームワークは、極小で高速度のオブジェクトのトラッキングにおいて、著しく頑健性と効率性を向上させることができるか？

主な発見

• Faster R-CNNが最も高い平均平均精度（mAP 46.78%、IOU 0.25）を達成し、他のモデルに比べて検出精度が優れていた。
• YOLOv3 tinyは、競争力ある精度を維持しながら最も高速な推論レートを達成し、リアルタイムアプリケーションに最適であった。
• フル解像度画像ではなく、小さな画像パッチを用いることで検出性能が顕著に向上した。これは、クロップ領域内でボールがより大きく表示されるためである。
• 本手法は、ボールが6×6ピクセルにまで小さくなる状況でも、安定的かつ正確なトラッキングを実現した。このサイズでは従来手法がしばしば失敗する。
• ラベル付け誤差はIOU評価に大きな影響を及ぼした。特にボールが小さい場合（例：1ピクセルの誤差で6×6サイズで最大33%のIOU低下）、mAP評価にIOU 0.25を採用する正当性が示された。
• 10のシーケンス（スイング6本、パット4本）を含むカスタムゴルフボールデータセットにより、多様な運動パターンにわたる一貫性のある性能が得られ、効果的な学習と評価が可能になった。