[論文レビュー] RGBD Object Tracking: An In-depth Review

Jinyu Yang, Zhe Li+5 more|arXiv (Cornell University)|Mar 26, 2022

Video Surveillance and Tracking Methods被引用数 8

ひとこと要約

本稿は、18の代表的トラッカーを用いた融合戦略、深度の使用法、トラッキングフレームワークを分析することで、RGBDオブジェクト追跡に関する包括的なレビューを提供している。深度品質の影響、ターゲットが消えた後の長期的性能、入力摂動に対するロバストネスといった新しい評価を導入し、深度にやさしい状況や今後の研究における未解決の課題についての知見を提示している。

ABSTRACT

RGBD object tracking is gaining momentum in computer vision research thanks to the development of depth sensors. Although numerous RGBD trackers have been proposed with promising performance, an in-depth review for comprehensive understanding of this area is lacking. In this paper, we firstly review RGBD object trackers from different perspectives, including RGBD fusion, depth usage, and tracking framework. Then, we summarize the existing datasets and the evaluation metrics. We benchmark a representative set of RGBD trackers, and give detailed analyses based on their performances. Particularly, we are the first to provide depth quality evaluation and analysis of tracking results in depth-friendly scenarios in RGBD tracking. For long-term settings in most RGBD tracking videos, we give an analysis of trackers' performance on handling target disappearance. To enable better understanding of RGBD trackers, we propose robustness evaluation against input perturbations. Finally, we summarize the challenges and provide open directions for this community. All resources are publicly available at https://github.com/memoryunreal/RGBD-tracking-review.

研究の動機と目的

• 深度の使用法、融合戦略、トラッキングフレームワークに基づいて、RGBDオブジェクト追跡手法の体系的な分類を提供すること。
• ハイブリッドデータセットを用いて18の代表的RGBDトラッカーをベンチマーク化し、多様なシナリオにおける性能を評価すること。
• 特に深度にやさしい状況において、深度データの品質が追跡性能に与える影響を調査すること。
• ターゲットが消えた後や再出現した際の状況におけるトラッカーの挙動を分析すること。
• 空間的および時間的入力摂動に対するRGBDトラッカーのロバストネスを評価すること。これは、これまでに未検討であった分野である。

提案手法

• 深度の使用法（例：外観的手がかり対幾何的手がかり）、融合メカニズム（例：早期融合、後期融合、学習された融合）、トラッキングフレームワーク（例：相関フィルタ、シameseネットワーク）に基づく、多面的なRGBDトラッカー分類法を提唱する。
• 複数のベンチマークから公開されているシーケンスを組み合わせることで、公平かつ包括的な評価を可能にするハイブリッドRGBDデータセットを構築する。
• 統一された評価プロトコルを採用し、標準指標と新規テストを用いて18の最先端RGBDトラッカーをベンチマーク化する。
• 深度にやさしい状況における深度マップの忠実度と追跡精度の相関を分析することで、深度品質の評価を導入する。
• 属性ベースのテストおよび時間的ロバストネステストを用いて、ターゲットの遮蔽や再出現時の性能を測定することで、長期追跡分析を実施する。
• 入力のRGBおよび深度ストリームに制御された空間的および時間的摂動を適用し、性能の低下を測定することで、ロバストネス評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 深度情報はオブジェクト追跡にどのように具体的に寄与するのか。特にどのシナリオで最も効果的なのか。
• RQ2 実世界の条件下において、深度マップの品質はRGBDトラッカーの性能にどのように影響するのか。
• RQ3 RGBDトラッカーは、特にターゲットの消失や再取得の際の長期的追跡課題をどのように処理しているのか。
• RQ4 空間的および時間的ノイズを含む入力摂動に対して、現在のRGBD追跡モデルはどの程度ロバストなのか。
• RQ5 RGBD追跡の進展を促進するための、現在のデータセット、評価プロトコル、モデル設計における主な制限要因は何か。

主な発見

• 深度品質は追跡性能に顕著な影響を及ぼし、低品質な深度マップでは、とくに複雑またはごみだらけのシーンで失敗率が高くなる。
• トラッカーは、明確な深度の不連続性や安定した深度勾配があるような状況（深度にやさしい状況）でより高い性能を示す。これは、深度情報が遮蔽の推論に有効であることを裏付けている。
• 長期追跡性能は、ターゲットが消えた際、顕著に低下する。多くのトラッカーが長時間の遮蔽後にオブジェクトを再取得できず、これが主要な制限要因であることが明らかになった。
• 深層RGBDトラッカーは、わずかな空間的または時間的ノイズに対しても非常に感受性が高く、性能の著しい低下を示す。これは、ロバストネスに欠けることを示している。
• 現在の評価プロトコルには標準化がなく、指標がデータセットごとに異なり、長期的な挙動やロバストネスを十分に捉えていない。これにより、統一されたベンチマークの必要性が浮き彫りになった。
• モデル効率は依然として重要な課題であり、多くのRGBDトラッカーがリアルタイム要件を満たせておらず、実世界への導入には軽量アーキテクチャの開発が不可欠である。