[論文レビュー] TAPIR: Tracking Any Point with per-frame Initialization and temporal Refinement

Carl Doersch, Yi Yang+6 more|arXiv (Cornell University)|Jun 14, 2023

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

TAPIRは、動画内の任意の点を追跡するための2段階手法を導入し、各フレームごとの特徴マッチングと、完全畳み込み型ネットワークを用いた時系列的精錬によって、精度と耐障害性を向上させます。DAVISで平均ジャッカードスコアに20%の絶対的向上を達成し、高解像度動画でもリアルタイム推論を可能にし、静止画から拡散ベースの動画生成への応用を可能にします。

ABSTRACT

We present a novel model for Tracking Any Point (TAP) that effectively tracks any queried point on any physical surface throughout a video sequence. Our approach employs two stages: (1) a matching stage, which independently locates a suitable candidate point match for the query point on every other frame, and (2) a refinement stage, which updates both the trajectory and query features based on local correlations. The resulting model surpasses all baseline methods by a significant margin on the TAP-Vid benchmark, as demonstrated by an approximate 20% absolute average Jaccard (AJ) improvement on DAVIS. Our model facilitates fast inference on long and high-resolution video sequences. On a modern GPU, our implementation has the capacity to track points faster than real-time, and can be flexibly extended to higher-resolution videos. Given the high-quality trajectories extracted from a large dataset, we demonstrate a proof-of-concept diffusion model which generates trajectories from static images, enabling plausible animations. Visualizations, source code, and pretrained models can be found on our project webpage.

研究の動機と目的

• 長時間にわたる動画シーケンスにおいて、遮蔽や外観変化があっても耐障害性があり、スケーラブルなポイント追跡手法の開発。
• TAP-Net（時系列的一致性の欠如）やPIPs（逐次処理による遅延）といった先行手法の限界を克服し、両者の長所を統合。
• 長時間かつ高解像度の動画において、高精度でリアルタイムの推論を実現し、実用的導入に適した仕組みの構築。
• 高品質な軌道を提供することで、静止画からアニメーションを生成する拡散モデルの概念実証を実現。

提案手法

• モデルは粗くから細かくというアプローチを採用：まず、低解像度特徴を用いて各フレームごとに独立に候補となるポイントマッチングを特定する。
• 次に、空間的・時系列的ネットワークを用いて、運動の一貫性と局所的外観の手がかりの両方をバランスさせながら、軌道を滑らかにする精錬段階を実行。
• 空間的・時系列的両方で完全畳み込み型アーキテクチャを採用しており、GPUやTPUでの並列処理が効率的に行える。
• 自己教師ありの方法で予測の不確実性を推定し、信頼度が低い予測は抑制できる。
• TAP-Net（遮蔽に強いマッチング）とPIPs（局所的精錬）の要素を統合するが、PIPsの逐次処理によるボトルネックを回避。
• TAPIRの出力を用いて、拡散ベースの動画生成パイプラインを構築：軌道モデルが1枚の画像から動きを予測し、ピクセルモデルが予測された軌道を条件としてフレームを生成。

実験結果

リサーチクエスチョン

• RQ1 各フレームのマッチングと時系列的精錬を組み合わせた2段階の追跡フレームワークは、長時間の動画シーケンスにおいて優れた精度と耐障害性を達成できるか？
• RQ2 長時間の動画において、高解像度でのリアルタイム推論を実現しながらも、高い性能を維持できるか？
• RQ3 TAPIRが得る高品質で安定した軌道は、単一の静止画から物理的に妥当なアニメーションを生成可能か？
• RQ4 自己教師ありの不確実性推定は、ベンチマークデータセットにおける追跡性能を向上させるか？

主な発見

• DAVISベンチマークにおいて、TAPIRはTAP-Netより20%の絶対的向上を達成し、平均ジャッカード（AJ）スコアを向上。
• より挑戦的なTAP-Vid-Kineticsベンチマークでは、PIPsよりAJスコアで約20%向上し、推論時間も顕著に短縮。
• 現代のGPU上でリアルタイム推論が可能で、高解像度でもリアルタイムを上回る速度で動画を処理。
• TAPIRが抽出する高品質な軌道は、静止画から物理的に妥当なアニメーションを生成する概念実証用の拡散モデルの実現に成功。
• 遮蔽や再出現に対しても耐障害性を示し、長時間にわたるシーケンスでも安定したトラックを維持。