[論文レビュー] Particle Video Revisited: Tracking Through Occlusions Using Point Trajectories

Adam W. Harley, Zhaoyuan Fang+1 more|arXiv (Cornell University)|Apr 8, 2022

Advanced Vision and Imaging被引用数 6

ひとこと要約

本稿では、独立した点軌道の時間的事前分布としての運動をモデル化し、学習された外観特徴とコストボリュームを用いた反復最適化により、長時間にわたる動画シーケンスにおいてピクセル軌道を追跡する、恒久的独立粒子（PIPs）という手法を紹介する。この手法は、DAVISベンチマークにおける平均PCK-T精度で、光流体や特徴マッチング手法と比較して最大9ポイントの優位性を示し、遮蔽に強い追跡とキーポイント伝搬の分野で最先端の性能を達成した。

ABSTRACT

Tracking pixels in videos is typically studied as an optical flow estimation problem, where every pixel is described with a displacement vector that locates it in the next frame. Even though wider temporal context is freely available, prior efforts to take this into account have yielded only small gains over 2-frame methods. In this paper, we revisit Sand and Teller's "particle video" approach, and study pixel tracking as a long-range motion estimation problem, where every pixel is described with a trajectory that locates it in multiple future frames. We re-build this classic approach using components that drive the current state-of-the-art in flow and object tracking, such as dense cost maps, iterative optimization, and learned appearance updates. We train our models using long-range amodal point trajectories mined from existing optical flow data that we synthetically augment with multi-frame occlusions. We test our approach in trajectory estimation benchmarks and in keypoint label propagation tasks, and compare favorably against state-of-the-art optical flow and feature tracking methods.

研究の動機と目的

• 長期間の遮蔽下における光流体や特徴マッチングの限界を克服すること。
• 複数フレームの時間的文脈を活用することで、頑健で長距離のピクセル軌道推定を可能にすること。
• 合成データ上でアモーダル軌道と複数フレームの遮蔽を含めてモデルを学習させ、一般化性能を向上させること。
• 光流体手法とは異なり、一時的な遮蔽後でも追跡の持続性を維持できる手法を開発すること。
• 可視性の手がかりを用いて任意長の追跡を可能にする、スケーラブルで推論効率の良いフレームワークを提供すること。

提案手法

• モデルはTフレームのRGB動画と、ターゲットピクセルの初期位置(x,y)を入力とし、T×2の軌道行列を出力する。
• MLP-Mixerバックボーンを用いた深層ネットワークを用い、時間的事前分布を学習することで、全フレームにわたる位置と外観を同時に推定する。
• RAFTをインspiredした、ピクセルごとの特徴から構築された4次元相関ボリュームを用いて、反復最適化を実行する。これは長距離の軌道推定に適応されたものである。
• 外観特徴は、可視性や外観の変化に適応する学習済みモジュールを用いて反復的に更新される。
• モデルは、複数フレームのアモーダル軌道と合成遮蔽を含む、FlyingThings++と呼ばれる合成データセットで学習される。
• 短い軌道を任意長に連結できるようにするため、可視性予測ヘッドが導入されている。

実験結果

リサーチクエスチョン

• RQ1 アモーダル軌道と遮蔽を含む合成データで学習したモデルは、長期間の遮蔽下における実世界の動画追跡に一般化可能か？
• RQ2 2フレームの光流体や局所的特徴マッチングと比較して、長距離の時間的文脈を活用することで、軌道推定の耐障害性が向上するか？
• RQ3 強い時間的事前分布を持つ独立粒子追跡は、光流体手法が失敗する複数の遮蔽フレームを経ても正確性を維持できるか？
• RQ4 キーポイント伝搬タスクにおいて、提案手法は最先端の光流体および特徴マッチング手法と比較してどのように性能を発揮するか？
• RQ5 モデルは遮蔽に起因する可視性喪失後、長期間にわたってターゲットを再識別できるか？

主な発見

• PIPsはDAVISベンチマークで最高の平均PCK-T精度を達成し、すべてのベースラインを9ポイント以上上回った。
• DAVISの7本の動画のうち4本において、PIPsは最高のキーポイント追跡精度を達成した。残りの3本ではDINOがトップスコアを記録した。
• RAFTが追跡を失う瞬間的遮蔽の状況でも、PIPsは安定した追跡を維持でき、DINOは粗い、不安定な軌道を生成した。
• 強力な時間的事前分布のおかげで、遮蔽に対する耐障害性が顕著に向上し、可視性喪失後もターゲットを再識別できた。
• アモーダル軌道と複数フレームの遮蔽を含む合成データの使用により、実世界の動画シーケンスへの効果的な一般化が可能になった。
• 可視性予測により、短い軌道が任意長に連結され、モデルのネイティブな時間窓を超えた追跡が可能になった。