[論文レビュー] Tracking Anything in High Quality

Jiawen Zhu, Zhenyu Chen+10 more|arXiv (Cornell University)|Jul 26, 2023

Visual Attention and Saliency Detection被引用数 5

ひとこと要約

本論文は、事前学習済みのHQ-SAMモデルを用いて、動画マルチオブジェクトセグメンテーション（VMOS）とマスクリファイナ（MR）を組み合わせた2段階フレームワークであるHQTrackを提案する。低IoUマスクはIoUしきい値を用いて選択的にリファインすることで、テスト時データ拡張やモデルアンサンブルを用いずに、VOTS2023チャレンジで2位という最先端性能を達成した。

ABSTRACT

Visual object tracking is a fundamental video task in computer vision. Recently, the notably increasing power of perception algorithms allows the unification of single/multiobject and box/mask-based tracking. Among them, the Segment Anything Model (SAM) attracts much attention. In this report, we propose HQTrack, a framework for High Quality Tracking anything in videos. HQTrack mainly consists of a video multi-object segmenter (VMOS) and a mask refiner (MR). Given the object to be tracked in the initial frame of a video, VMOS propagates the object masks to the current frame. The mask results at this stage are not accurate enough since VMOS is trained on several closeset video object segmentation (VOS) datasets, which has limited ability to generalize to complex and corner scenes. To further improve the quality of tracking masks, a pretrained MR model is employed to refine the tracking results. As a compelling testament to the effectiveness of our paradigm, without employing any tricks such as test-time data augmentations and model ensemble, HQTrack ranks the 2nd place in the Visual Object Tracking and Segmentation (VOTS2023) challenge. Code and models are available at https://github.com/jiawen-zhu/HQTrack.

研究の動機と目的

• 複雑な動画シーケンスにおける長期追跡、隠蔽、誤検出要因、外観変化の課題に対処すること。
• 特に小さな、高速移動する、または重度に隠蔽されたオブジェクトに対して、標準的な動画オブジェクトセグメンテーションモデルを上回るマスク品質を向上させること。
• 単一および複数オブジェクト追跡を両方対応可能で、密なマスク出力を生成する、強力で汎用性の高い追跡システムを開発すること。
• 低品質マスクのリファインによる性能劣化を最小限に抑えるために、IoUしきい値に基づく選択的リファイン戦略を導入すること。

提案手法

• VMOSは、特徴表現の向上を図るためInternImage-Tをバックボーンとして用い、小さなオブジェクトへの注意を高めるために1/8スケールのゲート付き伝搬モジュールを搭載した、DeAOTに基づく拡張型動画マルチオブジェクトセグメンテーションモデルである。
• 長時間の動画シーケンスにおけるメモリ使用量を管理するために、固定長の長期記憶メカニズムを採用し、しきい値を超えた初期フレームのメモリは破棄される。
• マスクリファイナ（MR）は、事前学習済みのHQ-SAM_Hモデルを用いて、VMOSのセグメンテーションマスクをリファインし、複雑な構造の正確性を向上させる。
• 選択的リファイン戦略が適用される：VMOSとSAM出力間のIoUがτより大きいマスクのみが置き換えられ、低品質予測での劣化を防ぐ。
• IoUしきい値τは検証セット上で最適化され、τ = 0.1が最良の性能を示した。
• フレームワークはVOSデータセット上で端末から端末まで訓練され、VOTS2023で微調整され、テスト時データ拡張やアンサンブル手法を用いずに推論が行われた。

実験結果

リサーチクエスチョン

• RQ1 VMOSと大規模マスクリファイナを組み合わせた2段階追跡フレームワークは、密なマスク出力が得られる長期的・複数オブジェクト追跡において最先端性能を達成できるか？
• RQ2 HQ-SAM_Hのような大規模事前学習モデルを用いた選択的マスクリファインは、低品質予測での性能劣化を回避する点でどれほど有効か？
• RQ3 10,000フレームを超える長時間の動画シーケンスにおいて、メモリ効率と長期追跡のロバスト性の最適なバランスは何か？
• RQ4 より強力なバックボーン（InternImage-T）とゲート付き伝搬の導入は、複雑なシーンにおける小さなオブジェクトの追跡をどのように向上させるか？

主な発見

• HQTrackは、VOTS2023テストセットでAUCスコア0.615を達成し、テスト時データ拡張やモデルアンサンブルを用いずに2位となった。
• VMOSのResNet50バックボーンをInternImage-Tに置き換えることで、AUCが3.2%向上し、より強力な特徴抽出の利点が示された。
• SAM_Hを用いたマスクリファインの導入により、VMOS単体と比較してAUCが1.4%向上し、大規模事前学習モデルの価値が顕著に示された。
• τ = 0.1で最適化された選択的リファイン戦略が最良の性能を達成し、低IoUマスクの劣化を低減するとともに、多様な課題にわたる高い正確性を維持した。
• フレームワークは長時間シーケンス（>10,000フレーム）、高速移動、隠蔽、誤検出要因を効果的に処理でき、実世界のシナリオにおける強いロバスト性を示した。
• 定性的な結果から、HQTrackは顕著な外観変化やスケール変化に対しても、非常に正確で安定したマスクを生成することがわかった。