[論文レビュー] NeighborTrack: Improving Single Object Tracking by Bipartite Matching with Neighbor Tracklets

Yu‐Hsi Chen, Chien-Yao Wang+5 more|arXiv (Cornell University)|Nov 12, 2022

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

NeighborTrack は、空間的・時間的隣接トラックレットを活用して二部マッチングを用いて追跡結果を検証することで、遮蔽時における誤検出を顕著に低減する後処理手法である。VOT において EAO を 1.92%、耐性を 2.11% 向上させ、OSTrack に適用した際、LaSOT で 72.25% の AUC、GOT-10K で 75.7% の AO を達成し、最先端の性能を実現した。

ABSTRACT

We propose a post-processor, called NeighborTrack, that leverages neighbor information of the tracking target to validate and improve single-object tracking (SOT) results. It requires no additional data or retraining. Instead, it uses the confidence score predicted by the backbone SOT network to automatically derive neighbor information and then uses this information to improve the tracking results. When tracking an occluded target, its appearance features are untrustworthy. However, a general siamese network often cannot tell whether the tracked object is occluded by reading the confidence score alone, because it could be misled by neighbors with high confidence scores. Our proposed NeighborTrack takes advantage of unoccluded neighbors' information to reconfirm the tracking target and reduces false tracking when the target is occluded. It not only reduces the impact caused by occlusion, but also fixes tracking problems caused by object appearance changes. NeighborTrack is agnostic to SOT networks and post-processing methods. For the VOT challenge dataset commonly used in short-term object tracking, we improve three famous SOT networks, Ocean, TransT, and OSTrack, by an average of ${1.92\%}$ EAO and ${2.11\%}$ robustness. For the mid- and long-term tracking experiments based on OSTrack, we achieve state-of-the-art ${72.25\%}$ AUC on LaSOT and ${75.7\%}$ AO on GOT-10K. Code duplication can be found in https://github.com/franktpmvu/NeighborTrack.

研究の動機と目的

• 単一オブジェクト追跡（SOT）において、外見特徴が信頼できなくなる遮蔽時における誤追跡を是正すること。
• バックボーンネットワークの再訓練や新規データ収集を伴わずに、空間的・時間的隣接情報を利用することで追跡の耐性を向上させること。
• 信頼度スコアと隣接トラックレットのみを用いて、既存の SOT モデルを向上させる後処理手法を開発すること。
• 変形や遮蔽による外見変化、または類似する物体による誤検出を低減すること。
• バックボーン追跡器のアーキテクチャを変更せずに、LaSOT や GOT-10K といった標準ベンチマークで最先端の性能を達成すること。

提案手法

• NeighborTrack は、候補検出とターゲットオブジェクトの間で二部マッチンググラフを構築し、遮蔽されていない隣接オブジェクトを追加の真値として含める。
• 隣接オブジェクトの空間的・時間的トラックレットを用いて類似度スコアを推定し、遮蔽時における信頼性を向上させる。
• バックボーン SOT ネットワークからの信頼度スコアを活用して、自動的に隣接オブジェクトを特定・検証する。
• 候補群とターゲットおよび隣接オブジェクトの間で二部マッチングを実行し、各候補が複数のソースに割り当てられないようにする。
• 外見に依存しない追加の候補仮説を生成するためにカルマンフィルタを用い、外見変化時における耐性を高める。
• 後処理として適用され、再訓練や追加データが不要であり、シアンセイ型およびトランスフォーマー型の両方の SOT モデルと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 バックボーンネットワークの再訓練を伴わずに、隣接情報を利用することで遮蔽時における追跡精度を向上させることができるか？
• RQ2 空間的・時間的隣接トラックレットを統合することで、SOT における二部マッチングの信頼性はどのように向上するか？
• RQ3 隣接マッチングに基づく後処理は、長期間追跡ベンチマークで最先端の SOT メソッドを上回ることができるか？
• RQ4 隣接トラックレットの使用により、ターゲットと視覚的に類似した物体による誤検出は低減されるか？
• RQ5 軽量な後処理は、多様な SOT アーキテクチャ全体にわたりどの程度の性能向上をもたらすか？

主な発見

• NeighborTrack は Ocean、TransT、OSTrack の3つの SOT ネットワークを平均して、VOT ベンチマークで EAO を 1.92%、耐性を 2.11% 向上させた。
• OSTrack384 に適用した場合、NeighborTrack は LaSOT で 72.25% の AUC を達成し、すべての先行手法を上回った。
• GOT-10K では、OSTrack384 に NeighborTrack を適用した結果、75.7% の AO を達成し、以前の最先端手法である MixFormer-L を上回った。
• UAV123、OTB100、TrackingNet といった複数のデータセットにおいても性能が向上し、AUC および精度で一貫した向上が見られた。
• 隣接マッチングの閾値 τ を高めることで、UAV123 および OTB100 における AUC が向上し、隣接オブジェクトの信頼性に敏感であることが示された。
• Bicycle-9 や Flag-2 といった困難なシーケンスにおいて、外見変化や類似物体による失敗を引き起こす状況でも、NeighborTrack は追跡の回復に成功した。