[論文レビュー] Need for Speed: A Benchmark for Higher Frame Rate Object Tracking

Hamed Kiani Galoogahi, Ashton Fagg+3 more|arXiv (Cornell University)|Mar 17, 2017

Video Surveillance and Tracking Methods参考文献 25被引用数 35

ひとこと要約

本論文は、一般消費者用カメラを用いた240 FPSの高フレームレート映像対象追跡のための、初めてのデータセットおよび評価フレームワークであるNeed for Speed（NfS）ベンチマークを紹介する。実験の結果、手作業で特徴を設計した相関フィルタトラッカー（例：HOG）が、深層学習ベースのトラッカーと比較して、精度およびリアルタイム効率の両面で優れていることが示された。これは、堅牢な追跡に深層ネットワークが不可欠であるという仮定に疑問を呈するものである。

ABSTRACT

In this paper, we propose the first higher frame rate video dataset (called Need for Speed - NfS) and benchmark for visual object tracking. The dataset consists of 100 videos (380K frames) captured with now commonly available higher frame rate (240 FPS) cameras from real world scenarios. All frames are annotated with axis aligned bounding boxes and all sequences are manually labelled with nine visual attributes - such as occlusion, fast motion, background clutter, etc. Our benchmark provides an extensive evaluation of many recent and state-of-the-art trackers on higher frame rate sequences. We ranked each of these trackers according to their tracking accuracy and real-time performance. One of our surprising conclusions is that at higher frame rates, simple trackers such as correlation filters outperform complex methods based on deep networks. This suggests that for practical applications (such as in robotics or embedded vision), one needs to carefully tradeoff bandwidth constraints associated with higher frame rate acquisition, computational costs of real-time analysis, and the required application accuracy. Our dataset and benchmark allows for the first time (to our knowledge) systematic exploration of such issues, and will be made available to allow for further research in this space.

研究の動機と目的

• 高フレームレート（240 FPS）での視覚的オブジェクト追跡のための標準化された評価が不足している問題に対処すること。これは、現在一般消費者機器で一般的に使われている。
• 高フレームレートがフレーム間の外観変化を低減するかどうかを調査し、その結果、単純で高速なトラッカーが複雑な深層学習モデルを上回る可能性があるかを検証すること。
• フレームレート、計算コスト、精度のトレードオフという現実世界の制約下でのトラッカー性能を評価するための体系的ベンチマークを提供すること。
• ロボット工学や組み込みビジョンのようなリソース制約のある環境において、計算効率、動画フレームレート、追跡精度のトレードオフを研究者に探求可能にするための支援をすること。

提案手法

• 一般消費者機器を用いて、実世界のシナリオから100本の高フレームレート映像（380Kフレーム）を240 FPSで収集した。
• すべてのフレームに対して、軸に平行なバウンディングボックスと9つの視覚的属性（例：遮蔽、高速移動、背景の複雑さ）を手動でアノテーションした。
• 14の最先端トラッカー（相関フィルタ（CF）および深層学習ベースの手法を含む）を、240 FPSおよび30 FPSのシーケンスの両方で評価した。
• 標準的な追跡メトリクスの使用：精度（IoU > 0.5のAUC）、リアルタイム性能（動画フレームレートに対するFPS）、および9つの視覚的属性にわたる属性別評価。
• フレームレートを変化させたトラッカー性能の比較を通じて、時間的分解能の影響が追跡の頑健性および効率に与える影響を分離した。
• CPUおよびGPU実行環境を組み合わせ、異なるハードウェアプラットフォームにおけるリアルタイム実行可能性を評価した。

実験結果

リサーチクエスチョン

• RQ1 30 FPSから240 FPSにフレームレートを向上させることで、単純なトラッカーおよび複雑なトラッカーの両方の追跡性能が顕著に向上するか？
• RQ2 手作業で特徴を設計した相関フィルタベースのトラッカー（例：HOG）が、高フレームレート映像に適用された場合、最先端の深層学習ベースのトラッカーを上回る性能を示せるか？
• RQ3 遮蔽、高速移動、照明変化などの異なる視覚的属性が、低フレームレートと比較して高フレームレートでのトラッカー性能に与える影響は何か？
• RQ4 深層学習ベースのトラッカーの計算コストが、特に高フレームレート映像が利用可能な状況において、リアルタイム組み込みシステムへの実用的導入をどの程度制限するか？
• RQ5 フレームレートが性能評価に組み込まれていない場合、従来の精度対速度のトレードオフ評価が、追跡評価において誤解を招くものになっていると言えるか？

主な発見

• 240 FPSでは、手作業で特徴を設計した相関フィルタトラッカー（例：BACF、Staple）が、深層学習ベースのトラッカー（例：MDNet、SFC、FCNT）をすべて上回り、高速移動、遮蔽、背景の複雑さといった困難な属性において、精度およびリアルタイム性能の両面で優れた性能を示した。
• 照明変化、遮蔽、高速移動、視界外、背景の複雑さ、低解像度の各属性において、手作業特徴を用いたCFトラッカーが、すべての深層学習トラッカーおよびHDTよりも優れた成功確率を達成した。
• MDNetなどの深層トラッカーは、スケール変化（61.0）、変形（59.2）、視点変化（55.9）において最高の精度を記録したが、9つの属性のうち6つではCFトラッカーに劣っていた。
• 240 FPSを30 FPSと比較した場合の精度向上の相対的改善度は、CFトラッカー（例：高速移動で+20–30%の向上）の方が深層学習トラッカーに比べ顕著に高く、高フレームレートが単純なモデルの利点を顕著に増幅させることを示している。
• CPU上で、KCFやStapleなどのトラッカーは240 FPSの映像でリアルタイム性能（速度 ≥ 240 FPS）を達成したが、MDNet や SFC などの深層トラッカーはGPUでもリアルタイムで動作しなかった。
• ベンチマークから、リアルタイム性能は動画のフレームレートに相対的に評価されなければならないことが明らかになった。240 FPSの動画では100 FPSで動作するトラッカーはリアルタイムとは言えない。これは、従来の速度対精度の比較が無効になることを意味する。