[論文レビュー] ReST: A Reconfigurable Spatial-Temporal Graph Model for Multi-Camera Multi-Object Tracking

Cheng-Che Cheng, Min-Xuan Qiu+2 more|arXiv (Cornell University)|Aug 25, 2023

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本論文では、遮蔽やIDの入れ替えに対して頑健性を高めるために、関連付けを空間的および時間的段階に分離する再構成可能な空間的・時間的グラフモデルReSTを提案する。視野およびフレーム間で一貫した検出を統合するために反復的にグラフを再構成することで、単一カメラトラッカーの出力に依存せずにWildtrackで最先端の性能を達成し、他のベンチマークでも優れた結果を示す。

ABSTRACT

Multi-Camera Multi-Object Tracking (MC-MOT) utilizes information from multiple views to better handle problems with occlusion and crowded scenes. Recently, the use of graph-based approaches to solve tracking problems has become very popular. However, many current graph-based methods do not effectively utilize information regarding spatial and temporal consistency. Instead, they rely on single-camera trackers as input, which are prone to fragmentation and ID switch errors. In this paper, we propose a novel reconfigurable graph model that first associates all detected objects across cameras spatially before reconfiguring it into a temporal graph for Temporal Association. This two-stage association approach enables us to extract robust spatial and temporal-aware features and address the problem with fragmented tracklets. Furthermore, our model is designed for online tracking, making it suitable for real-world applications. Experimental results show that the proposed graph model is able to extract more discriminating features for object tracking, and our model achieves state-of-the-art performance on several public datasets.

研究の動機と目的

• 混雑したシーンにおける遮蔽やIDの入れ替えに対処するための単一カメラトラッカーの限界を解消すること。
• 既存のグラフベースのMC-MOT手法が単一カメラトラッカーからの事前生成トラッケットに依存しているのを克服すること。
• 二段階のグラフフレームワークを用いて空間的および時間的整合性を明示的にモデル化することで、特徴表現を向上させること。
• 反復的なグラフ再構成により将来のフレームに依存しないようにすることで、オンライントラッキングを可能にすること。
• 照明や運動条件の変化に伴う外見特徴への依存度を低めることで、データセット間での一般化を向上させること。

提案手法

• MC-MOTを2つのサブタスクに定式化する：空間的関連付け（同じ時刻におけるカメラ間マッチング）と時間的関連付け（フレーム間マッチング）。
• 同じフレームにおける複数カメラの検出を用いて空間グラフを構築し、エッジ特徴を外見的および幾何的整合性に基づくものとする。
• 同じ物体のノードを連結成分に統合するグラフ再構成モジュールを適用し、時間的関連付けに向けたグラフの簡略化を図る。
• フレーム間のノードを接続することでグラフを時間的グラフに再構成し、時間的特徴の学習と精錬を可能にする。
• 特徴の識別性と最適化の安定性を向上させるために、タスク固有の制約を用いて空間的および時間的グラフを別々に学習する。
• 動的シーンにおける関連付けの精錬と特徴表現の向上を図るため、推論中に反復的にグラフを再構成する。

実験結果

リサーチクエスチョン

• RQ1 空間的および時間的関連付けを分離する二段階のグラフベース手法が、マルチカメラ環境におけるトラッキングの頑健性を向上させることができるか？
• RQ2 グラフ再構成が特徴表現をどのように向上させ、マルチオブジェクトトラッキングにおける断片化をどのように軽減するか？
• RQ3 外見特徴への強い依存を避けた場合、モデルはどの程度異なるデータセット間で一般化できるか？
• RQ4 空間的および時間的学習を分離することで、統合された空間的・時間的グラフモデルと比較して最適化と性能が向上するか？
• RQ5 将来のフレームに依存しないオンラインマルチカメラマルチオブジェクトトラッキングで、提案手法が最先端の性能を達成できるか？

主な発見

• ReSTはWildtrackデータセットで91.6のIDF1および97.0のMOTAを達成し、既存手法を上回る最先端の性能を示した。
• Wildtrackでは、外見特徴、投影特徴、速度特徴を組み合わせた場合、91.6のIDF1および97.0のMOTAを達成し、外見変動に対しても頑健であることが示された。
• 外見特徴を除去すると、IDF1は89.2、MOTAは95.0に低下するが、依然として強い一般化性能を示している。
• 統合された空間的・時間的グラフモデルは、正例エッジと負例エッジの分離が不十分であることがt-SNE可視化から明らかになり、分離された空間的・時間的グラフよりも性能が劣った。
• ReSTは優れたデータセット間一般化性能を示しており、Wildtrackで微調整しCAMPUSでテストした場合、MOTAが最大15.5ポイント向上した。
• t-SNE可視化により、標準的なReID特徴と比較して、ReSTがより識別性の高いノード特徴を学習し、クラス間分離性とクラス内クラスタリングが優れていることが確認された。