[論文レビュー] PatchTrack: Multiple Object Tracking Using Frame Patches

Xiaotong Chen, Seyed Mehdi Iranmanesh+1 more|arXiv (Cornell University)|Jan 1, 2022

Video Surveillance and Tracking Methods被引用数 12

ひとこと要約

PatchTrackは、現在フレームのパッチを用いて動きと外観モデリングを向上させることで、複数対象追跡を改善するTransformerベースの統合検出・追跡システムです。Kalmanフィルタで予測されたトラック位置を用いてフレームパッチを切り出し、それらをトラッククエリと組み合わせてパッチトラッククエリを生成します。MOT16（MOTA 73.71%）およびMOT17（MOTA 73.59%）でSOTA性能を達成しています。

ABSTRACT

Object motion and object appearance are commonly used information in multiple object tracking (MOT) applications, either for associating detections across frames in tracking-by-detection methods or direct track predictions for joint-detection-and-tracking methods. However, not only are these two types of information often considered separately, but also they do not help optimize the usage of visual information from the current frame of interest directly. In this paper, we present PatchTrack, a Transformer-based joint-detection-and-tracking system that predicts tracks using patches of the current frame of interest. We use the Kalman filter to predict the locations of existing tracks in the current frame from the previous frame. Patches cropped from the predicted bounding boxes are sent to the Transformer decoder to infer new tracks. By utilizing both object motion and object appearance information encoded in patches, the proposed method pays more attention to where new tracks are more likely to occur. We show the effectiveness of PatchTrack on recent MOT benchmarks, including MOT16 (MOTA 73.71%, IDF1 65.77%) and MOT17 (MOTA 73.59%, IDF1 65.23%). The results are published on https://motchallenge.net/method/MOT=4725&chl=10.

研究の動機と目的

• 従来のTransformerベースのMOT手法が、過去のフレームからの外観特徴に過度に依存しているという制限を解消すること。
• 現在フレームのパッチからのリアルタイム視覚的情報を統合することで、追跡のロバスト性を向上させること。
• 動きの事前知識と現在フレームの外観キューを組み合わせることで、IDスイッチや誤検出を低減すること。
• 動きと現在フレーム外観を統合する新しいクエリメカニズム「パッチトラッククエリ」を提案し、より良い局所化を実現すること。
• 現在フレームからのフレームパッチを用いることで、単独の検出パラダイムやトラッククエリに依存する手法よりも追跡性能が向上することを実証すること。

提案手法

• Kalmanフィルタを用いて、前フレームでのトラック状態に基づき、現在フレームにおける既存トラックの位置を予測する。
• Kalmanフィルタの予測バウンディングボックスを用いて、現在フレームからパッチを切り出す。
• フルフレームと切り出しパッチをそれぞれCNNバックボーンに通して、フレーム特徴とパッチクエリを抽出する。
• 前フレームの出力埋め込みから得られる各トラッククエリと、現在フレームのパッチから得られる対応するパッチクエリを組み合わせ、パッチトラッククエリを形成する。
• パッチトラッククエリとオブジェクトクエリをTransformerデコーダーに供給し、トラック位置の同時予測と新規オブジェクトの検出を実行する。
• 後処理としてハンガリアンアルゴリズムとKalmanフィルタを用い、トラックの関連付けを精緻化し、隠蔽状態に対処する。

実験結果

リサーチクエスチョン

• RQ1 現在フレームのパッチからの視覚的特徴を統合することで、統合検出・追跡モデルの追跡性能が向上するか？
• RQ2 トラッククエリに依存するのではなく、動きの事前知識と現在フレームの外観キューを組み合わせることで、IDスイッチや誤検出が減少するか？
• RQ3 動きと現在フレーム外観を統合するパッチトラッククエリは、標準的なトラッククエリや検出専用ベースラインと比較して、どのように性能を発揮するか？
• RQ4 パッチのソース（現在フレーム対、過去フレーム）がモデルの性能とロバスト性に与える影響は何か？
• RQ5 パッチベースのクエリメカニズムは、MOTAと IDF1 を向上させるとともに誤検出を減らす点で、既存のTransformerベースのMOT手法を上回ることができるか？

主な発見

• MOT16テストセットにおいてPatchTrackはMOTA 73.71%、IDF1 65.77%を達成し、主要ベンチマークで優れた性能を示している。
• MOT17ではMOTA 73.59%、IDF1 65.23%を達成し、顕著に少ない誤検出数を記録するトップパフォーマンスの手法の一つである。
• アブレーションスタディの結果、パッチトラッククエリを削除すると性能が低下し、検出ベースの追跡バージョンではIDスイッチが200件（対照的に192件）に増加するなど、統合モデリングの有効性が確認された。
• 現在フレームのパッチを過去フレームのバウンディングボックスに基づいて切り出すと性能が低下（MOTA 62.8%）し、位置ずれが特徴品質を損なうことが示された。
• PatchTrackは、MOTAは同等ながら、誤検出数がTransTrackの50%未満であるため、精度が高く重複トラックが少ないことが確認された。
• 可視化結果から、PatchTrackはTransTrackに比べてIDスイッチを低減し、完全な隠蔽後の再挿入に対してもより良好に処理していることが確認された。