[論文レビュー] Light Cascaded Convolutional Neural Networks for Accurate Player Detection

Keyu Lu, Jianhui Chen+2 more|arXiv (Cornell University)|Sep 29, 2017

Anomaly Detection Techniques and Applications参考文献 30被引用数 5

ひとこと要約

本論文では、エンド・ツー・エンド学習と拡張戦略を用いて、動きぼけや低解像度などの困難な条件下でも正確なスポーツ動画内の選手検出を実現する、軽量で段階的な畳み込みニューラルネットワーク（CNN）を提案する。この手法は、従来のCNNと比較して1000倍も少ないパラメータ数で最先端の精度を達成し、標準的なハードウェアでもリアルタイム性能（10 fps）を実現する。

ABSTRACT

Vision based player detection is important in sports applications. Accuracy, efficiency, and low memory consumption are desirable for real-time tasks such as intelligent broadcasting and automatic event classification. In this paper, we present a cascaded convolutional neural network (CNN) that satisfies all three of these requirements. Our method first trains a binary (player/non-player) classification network from labeled image patches. Then, our method efficiently applies the network to a whole image in testing. We conducted experiments on basketball and soccer games. Experimental results demonstrate that our method can accurately detect players under challenging conditions such as varying illumination, highly dynamic camera movements and motion blur. Comparing with conventional CNNs, our approach achieves state-of-the-art accuracy on both games with 1000x fewer parameters (i.e., it is light}.

研究の動機と目的

• 変動する照明、動きぼけ、低解像度の選手が含まれるスポーツ動画における正確でリアルタイムの選手検出の課題に対処すること。
• 計算コストとメモリコストを最小限に抑える一方で高い精度を維持できる、コンactで効率的なCNNアーキテクチャを設計すること。
• 新規の拡張戦略を用いて、動的なカメラ環境や複雑な背景下でも検出のロバスト性を向上させること。
• スポーツ動画分析分野の研究を支援するため、新たに公開可能なサッカー選手検出データセットを提供すること。
• 微調整なしで異なるスポーツ間で一般化できるようにすることにより、異なるスポーツや条件下でのモデルの移植性を高めること。

提案手法

• 複数段階からなる段階的CNNアーキテクチャを設計し、初期段階で前の段階の共有特徴マップを活用して非選手領域を迅速に除外する。
• 全段階をグローバルなエンド・ツー・エンド最適化目的関数により同時に学習させ、特徴表現と検出精度を向上させる。
• 推論時に特徴マップのスケール間の整合性を高めるために、拡張戦略を適用し、受容 field を拡大せずに局所化精度を向上させる。
• ネットワークは画像パッチを用いて二値分類（選手／非選手）として学習され、テスト時には効率的に全画像に適用される。
• パラメータ数を極端に少なく（100KB未満）し、推論速度を高速化（未最適化のMATLABで1280×720画像で10 fps）するように最適化される。
• 最終的なバウンディングボックス出力を精緻化し、誤検出を低減するために、非最大抑制（NMS）が用いられる。

実験結果

リサーチクエスチョン

• RQ1 段階的CNNアーキテクチャは、従来のCNNと比較して著しく軽量であるにもかかわらず、最先端の選手検出精度を達成できるか？
• RQ2 段階的ネットワークのエンド・ツー・エンド同時学習は、独立した段階学習と比較して検出性能をどのように向上させるか？
• RQ3 拡張戦略は、小サイズまたは低解像度の選手に対して、どの程度検出精度を向上させるか？
• RQ4 提案手法は、微調整なしに異なるスポーツ（例：バスケットボールとサッカー）間で良好に一般化できるか？
• RQ5 動きぼけ、隠蔽、動的なカメラ移動などの困難な現実世界の条件下で、モデルはどの程度の性能を示すか？

主な発見

• 提案手法は、バスケットボールおよびサッカーの両データセットで、AUC（受信器操作特性曲線下の面積）が最高を記録し、Faster R-CNN、SSD512、BRF、ICFを上回る。
• 異なるスポーツ間での評価（あるスポーツで学習し、別のスポーツでテスト）においても、優れた性能を維持しており、強力な一般化能力を示している。
• ベースライン手法と比較して、小さな選手の検出がより効果的であり、エンド・ツー・エンド学習と拡張戦略のおかげで性能向上が見られた。
• 未最適化のMATLABコードを用いて1280×720画像で約10 fpsで実行可能であり、リアルタイム実現可能性を示している。
• メモリ使用量は100KB未満、標準CNNと比較して1000倍もパラメータ数が少ないため、極めて効率的である。
• 提案されたサッカー選手検出データセットは公開されており、動きぼけ、隠蔽、照明の変動といった挑戦的なシナリオを含んでおり、今後の研究を支援する。