[論文レビュー] Track Targets by Dense Spatio-Temporal Position Encoding

Jinkun Cao, Hao Wu+1 more|arXiv (Cornell University)|Oct 17, 2022

Video Surveillance and Tracking Methods被引用数 9

ひとこと要約

本論文では、動画マルチオブジェクトトラッキングのためのトランスフォーマーにおいて、2次元CNN特徴マップに直接位置エンコーディングを適用する新しい手法、Dense Spatio-Temporal (DST) 位置エンコーディングを提案する。この手法により、空間的および時間的情報を保持でき、単一フレームの検出とトラジェクトリの両方を一様に表現可能となり、外観マッチングを超えたターゲット関連付けの向上により、MOTおよびMOTSベンチマークで最先端の性能を達成する。

ABSTRACT

In this work, we propose a novel paradigm to encode the position of targets for target tracking in videos using transformers. The proposed paradigm, Dense Spatio-Temporal (DST) position encoding, encodes spatio-temporal position information in a pixel-wise dense fashion. The provided position encoding provides location information to associate targets across frames beyond appearance matching by comparing objects in two bounding boxes. Compared to the typical transformer positional encoding, our proposed encoding is applied to the 2D CNN features instead of the projected feature vectors to avoid losing positional information. Moreover, the designed DST encoding can represent the location of a single-frame object and the evolution of the location of the trajectory among frames uniformly. Integrated with the DST encoding, we build a transformer-based multi-object tracking model. The model takes a video clip as input and conducts the target association in the clip. It can also perform online inference by associating existing trajectories with objects from the new-coming frames. Experiments on video multi-object tracking (MOT) and multi-object tracking and segmentation (MOTS) datasets demonstrate the effectiveness of the proposed DST position encoding.

研究の動機と目的

• 視覚タスクにおける標準的な位置エンコーディングの限界、特にマルチオブジェクトトラッキングにおいて空間的および時間的情報を十分に保持できない問題に対処すること。
• フレーム間で一貫した表現を可能にする、統合的で密度的かつ微分可能なオブジェクト位置の表現を設計すること。
• 2次元CNN特徴マップ上で、投影されたトークンではなく、より早い段階で空間的・時間的位置エンコーディングを統合することで、トランスフォーマーに基づくトラッキングモデルの性能を向上させること。
• 位置情報が外観類似性に依存するのを減らすために、学習可能で強力なヒントとして位置エンコーディングが有効であることを検証すること。
• 今後の動画オブジェクトトラッキング分野における新たなベースラインとして、DSTエンコーディングを確立すること。

提案手法

• 2次元CNN特徴マップ上で直接作用する、フーリエに基づく密度的空間的・時間的位置エンコーディングを提案し、ピクセルレベルの空間的および時間的順序を保持する。
• 線形性と一貫性を維持するようにDSTエンコーディングを設計し、フレーム間で個々の検出と発展するトラジェクトリの両方を一貫した表現で表現可能にする。
• トランスフォーマー自己注意機構におけるクエリ、キー、バリューの投影にDSTエンコーディングを適用し、位置に関するインダクティブバイアスを注入する。
• セグメンテーションまたはサリエンシーマップから導出されるアテンションマスクを導入し、背景ノイズを低減し、特徴表現の質を向上させる。
• オンライン推論が可能な、トランスフォーマーに基づくマルチオブジェクトトラッキングモデルにDSTエンコーディングを統合し、新しい検出と既存のトラジェクトリを関連付ける。
• フーリエ周波数成分を用いた学習可能な位置エンコーディングを導入し、微分可能な方法で連続的な空間的および時間的位置を近似する。

実験結果

リサーチクエスチョン

• RQ1 密度的かつ空間的・時間的特徴を持つ位置エンコーディングは、外観ベースの関連付けを超えて、トランスフォーマーに基づくマルチオブジェクトトラッキングを改善できるか？
• RQ2 標準的な位置エンコーディングはなぜ動画トラッキングで性能を発揮できないのか？ そして、特徴マップ上でより早い段階に適用することでその限界をどのように是正できるか？
• RQ3 単一フレームの検出と複数フレームにわたるトラジェクトリを一貫して表現できる統合的表現形式を設計可能か？
• RQ4 特徴パイプラインの初期段階で位置情報を統合することで、外観マッチングに依存する従来手法と比較して、トラッキング性能が向上するか？
• RQ5 セグメンテーションまたはサリエンシーマップに基づくアテンションマスクの使用は、特徴の質およびトラッキング精度にどのように影響するか？

主な発見

• 提案されたDST位置エンコーディングは、MOTS20でHOTAスコア51.9を達成し、TransTrk (45.5) や MOTR (48.4) といった既存のトランスフォーマー基盤手法を上回る性能を示した。
• モデルはMOTS20でIDF1 51.0を達成し、MOTAではOC-SORT (54.2) を上回ったが、より堅牢な位置ベースの関連付けメカニズムを備える。
• アブレーションスタディの結果、DSTエンコーディングを削除するとMOTS20-valでHOTAが64.4に低下し、古典的な位置エンコーディングを用いるともっと悪化して64.1にまで低下し、DSTの優位性が示された。
• アテンションマスクの導入により、HOTAは64.6から67.1に向上し、背景ノイズのフィルタリングと特徴表現の質の向上の有効性が裏付けられた。
• IDスイッチは、エンコーディングなしの150から、DSTエンコーディングを用いることで135に減少し、トラジェクトリの一貫性の向上が確認された。
• アブレーションの結果、DSTエンコーディングが性能向上の主因であることが確認され、アテンションマスクは追加的で二次的な改善をもたらした。