[論文レビュー] Single-Camera Basketball Tracker through Pose and Semantic Feature Fusion

Adrià Arbués-Sangüesa, Coloma Ballester+1 more|Zenodo (CERN European Organization for Nuclear Research)|Jun 2, 2019

Video Analysis and Summarization参考文献 22被引用数 7

ひとこと要約

本論文では、カメラの安定化や文脈的特徴を用いずに、高精度な1台カメラ用バスケットボールトラッカーを提示している。VGG-19ネットワークからのポーズとディープラーニング特徴を融合することで、キーポイントベースのポーズ推定と10番目の畳み込み層からの活性マップを組み合わせ、0.6843のMOTAスコアを達成し、従来の特徴よりも優れた性能を示した。これは、ディープラーニング特徴のみで、複雑で遮蔽の多いシーンにおいても頑健なトラッキングが可能であることを示している。

ABSTRACT

Tracking sports players is a widely challenging scenario, specially in single-feed videos recorded in tight courts, where cluttering and occlusions cannot be avoided. This paper presents an analysis of several geometric and semantic visual features to detect and track basketball players. An ablation study is carried out and then used to remark that a robust tracker can be built with Deep Learning features, without the need of extracting contextual ones, such as proximity or color similarity, nor applying camera stabilization techniques. The presented tracker consists of: (1) a detection step, which uses a pretrained deep learning model to estimate the players pose, followed by (2) a tracking step, which leverages pose and semantic information from the output of a convolutional layer in a VGG network. Its performance is analyzed in terms of MOTA over a basketball dataset with more than 10k instances.

研究の動機と目的

• 遮蔽や選手の解像度が低いといった困難な状況下でも、頑健な1台カメラマルチオブジェクトトラッカーを、バスケットボール動画に対して開発すること。
• 幾何的特徴、視覚的特徴、ディープラーニングベースの特徴の有効性を、選手トラッキングの文脈で評価すること。
• 文脈的特徴（例：色の類似性、近接性）やカメラの安定化が、高性能なトラッキングに必要かどうかを特定すること。
• 身体部位の解像度と特徴融合の影響がトラッキング精度に与える影響を調査すること。
• ディープラーニング特徴のみで、従来のコンピュータビジョン手法を上回ることを実証すること。

提案手法

• 2段階のトラッキング・バイ・ディテクションパイプラインを採用：まず、事前学習済みのポーズ推定モデルを用いて選手とそのポーズを検出する。
• VGG-19ネットワークの10番目の畳み込み層からディープラーニング特徴を抽出し、身体部位に空間プーリングを適用する。
• ポーズガイドド特徴抽出では、主な解剖学的領域（例：肩、股関節、膝）に注目し、各部位の周囲に2×2の近接領域を設定することで、耐性を高める。
• 比較のため、幾何的特徴（ピixeL座標における相対距離）と視覚的特徴（局所パッチ内のRGB類似性）も評価する。
• 3つの連続フレーム間のデータアソシエーション問題を解くために、カスタマイズされたハンガリアン法を用いる。
• ホモロジー推定によるカメラの安定化を試みたが、ディープラーニング特徴が使用されている場合、これは必須ではないことが判明した。

実験結果

リサーチクエスチョン

• RQ1 1台カメラのバスケットボール動画において、ディープラーニング特徴のみで、従来の幾何的・視覚的特徴よりも優れたトラッキング性能を達成できるか？
• RQ2 カメラの安定化はトラッキング性能を向上させるか？また、ディープラーニング特徴を使用する場合、これは必須か？
• RQ3 VGG-19のどの畳み込み層がバスケットボール選手トラッキングに最適なディープラーニング特徴表現を提供するか？
• RQ4 身体部位の解像度と識別能がトラッキング性能に与える影響は何か？
• RQ5 幾何的特徴とディープラーニング特徴を融合することで性能が向上するか？それとも、1つの特徴で十分か？

主な発見

• VGG-19の10番目の畳み込み層が最適なディープラーニング特徴を提供し、最大MOTA 0.6843を達成した。
• ダウンサンプルされた身体部位の周囲に2×2の空間プーリングを適用することで、特に中程度解像度の特徴においてトラッキング性能が向上した。
• 幾何的特徴と組み合わせた場合、ディープラーニング特徴は視覚的特徴を上回ったが、ディープラーニング特徴のみで十分であり、両者を融合しても顕著な向上は得られなかった。
• 解像度が低い部位（例：目、耳、つま先）はトラッキングに悪影響を及ぼし、MOTA値が0.10未満にまで低下した。
• カメラの安定化は幾何的特徴の性能を向上させるが、ディープラーニング特徴が使用されている場合、運動に強いので必須ではない。
• アブレーションスタディにより、色の類似性や近接性といった文脈的特徴は、ディープラーニング特徴が使用されている場合、高性能を達成するために不要であることが確認された。