[論文レビュー] Predictive Visual Tracking: A New Benchmark and Baseline Approach

Bowen Li, Yiming Li+3 more|arXiv (Cornell University)|Mar 8, 2021

Video Surveillance and Tracking Methods参考文献 40被引用数 4

ひとこと要約

本論文は、リアルタイムロボットアプリケーションにおける遅延を解消するために、視覚追跡と将来状態予測を統合した予測型視覚追跡（PVT）という新しいタスクを導入する。遅延に配慮した評価（LAE）ベンチマークとプラグイン型予測モジュールを提案することで、UAV上でトレーカーのロバスト性が向上し、リアルタイム制約下で距離精度（DP）が最大33.9%向上し、AUCが23.6%向上した。

ABSTRACT

As a crucial robotic perception capability, visual tracking has been intensively studied recently. In the real-world scenarios, the onboard processing time of the image streams inevitably leads to a discrepancy between the tracking results and the real-world states. However, existing visual tracking benchmarks commonly run the trackers offline and ignore such latency in the evaluation. In this work, we aim to deal with a more realistic problem of latency-aware tracking. The state-of-the-art trackers are evaluated in the aerial scenarios with new metrics jointly assessing the tracking accuracy and efficiency. Moreover, a new predictive visual tracking baseline is developed to compensate for the latency stemming from the onboard computation. Our latency-aware benchmark can provide a more realistic evaluation of the trackers for the robotic applications. Besides, exhaustive experiments have proven the effectiveness of the proposed predictive visual tracking baseline approach.

研究の動機と目的

• ロボットシステムにおけるリアルタイム処理遅延を無視する視覚追跡ベンチマークの重要なギャップを解消すること。
• 遅延下での追跡精度と計算効率を併せて測定する現実的な評価フレームワークを構築すること。
• オンボード処理遅延を補償するための汎用的でプラグイン可能な予測モジュールを開発すること。
• 実UAVハードウェア上で予測型追跡の有効性を実証し、標準トレーカーと比較して測定可能な性能向上を示すこと。

提案手法

• 各タイムスティップでオブジェクト状態を照会することでリアルタイム追跡をシミュレートし、処理遅延を考慮する遅延に配慮した評価（LAE）ベンチマークを提案する。
• 既存のトレーカーに事前予測器と事後予測器を追加して将来のオブジェクト状態を予測する予測型視覚追跡（PVT）フレームワークを導入する。
• トレーキング推論の前段階で運動トレンドを予測する事前予測器と、時間的ダイナミクスを用いて最終出力を精緻化する事後予測器を実装する。
• SiamRPN++ や DiMP といった最先端のトレーカーに予測器をプラグインモジュールとして統合し、アーキテクチャの変更を最小限に抑える。
• 実UAVの処理遅延を反映した DTB70 データセットを用いて評価し、距離精度（DP）と AUC といった指標を用いる。
• 各予測器の寄与を分離するためのアブレーションスタディを実施し、PVTパイプライン全体の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムUAVアプリケーションにおける処理遅延は、最先端の視覚トレーカーの性能にどのように悪影響を及えるか？
• RQ2 リアルタイム計算制約下で予測型追跡フレームワークは、どれほど精度を向上させられるか？
• RQ3 事前予測器と事後予測器のモジュールが、遅延に起因する追跡誤差を軽減する上で果たす相対的寄与はどの程度か？
• RQ4 汎用的でプラグイン可能な予測モジュールは、再トレーニングなしに既存のトレーカーのロバスト性を顕著に向上させられるか？
• RQ5 異なる追跡特性（例：高速移動、隠蔽）が、提案されたPVTフレームワークの性能向上にどのように影響を与えるか？

主な発見

• LAEベンチマークにより、非予測型トレーカーはリアルタイム遅延下で顕著な性能低下—特に遅いモデルでは距離精度（DP）が最大57%低下—を示した。
• 提案されたPVTベースラインは、非予測型対応の SiamRPN++_mob トレーカーに対して、DPで33.9%、AUCで23.6%の向上を達成した。
• 事後予測器のみでDPが20%向上し、事前予測器で11%向上し、両者の組み合わせが最良の性能を達成した。
• 属性別評価では、PVTフレームワークはUAV固有の10の課題すべてで1位を記録し、高速カメラ移動（FCM）で57%の向上、変形（DEF）状況では性能がほぼ2倍になった。
• 定性的な結果から、予測型トレーカー（実線赤）は、通常のトレーカー（破線赤）が失敗する高運動および隠蔽状況でも追跡のロバスト性を維持していることが示された。
• 遅延に配慮した条件下でDTB70ベンチマークにおいて最先端の性能を達成し、実世界のロボットアプリケーションにおける実用的妥当性を示した。