[論文レビュー] Large-Scale Spatio-Temporal Person Re-identification: Algorithm and Benchmark

Xiujun Shu, Xiao Wang+5 more|arXiv (Cornell University)|May 31, 2021

Video Surveillance and Tracking Methods参考文献 53被引用数 5

ひとこと要約

本論文は、10,862体の人物と228,000枚以上の画像を有する大規模な空間的・時間的視覚人物再識別データセットLaSTを紹介している。このデータセットは、多様な都市、時間帯、季節をカバーしており、現実世界の再識別に挑戦的なベンチマークを提供する。14のアルゴリズムを評価し、既存のデータセットに良好に一般化する強力なベースラインを提案することで、本データセットが現実的再識別システムの発展に寄与することを示している。

ABSTRACT

Person re-identification (re-ID) in the scenario with large spatial and temporal spans has not been fully explored. This is partially because that, existing benchmark datasets were mainly collected with limited spatial and temporal ranges, e.g., using videos recorded in a few days by cameras in a specific region of the campus. Such limited spatial and temporal ranges make it hard to simulate the difficulties of person re-ID in real scenarios. In this work, we contribute a novel Large-scale Spatio-Temporal LaST person re-ID dataset, including 10,862 identities with more than 228k images. Compared with existing datasets, LaST presents more challenging and high-diversity re-ID settings, and significantly larger spatial and temporal ranges. For instance, each person can appear in different cities or countries, and in various time slots from daytime to night, and in different seasons from spring to winter. To our best knowledge, LaST is a novel person re-ID dataset with the largest spatio-temporal ranges. Based on LaST, we verified its challenge by conducting a comprehensive performance evaluation of 14 re-ID algorithms. We further propose an easy-to-implement baseline that works well on such challenging re-ID setting. We also verified that models pre-trained on LaST can generalize well on existing datasets with short-term and cloth-changing scenarios. We expect LaST to inspire future works toward more realistic and challenging re-ID tasks. More information about the dataset is available at this https URL.

研究の動機と目的

• 空間的・時間的多様性が広範にわたる大規模で現実的な人物再識別データセットの不足を解消すること。
• 長期にわたる外見の変化、都市間追跡、季節の変化といった現実世界の課題を模擬すること。
• 極端な空間的・時間的条件下での再識別モデルの評価を可能にするベンチマークを提供すること。
• 大規模かつ多様な再識別シナリオにおいて有効な実用的なベースラインモデルの開発と検証。
• LaSTで事前学習したモデルが、既存の短期間・衣服変更あり再識別ベンチマークに良好に一般化することを実証すること。

提案手法

• 複数の都市と長期間にわたる画像収集によりLaSTデータセットを構築。日中・夜間および季節の変化を含む。
• 10,862体の人物と228,000枚以上の画像を含み、外見、場所、時間にわたる高い多様性を確保。
• 14の最先端再識別アルゴリズムをLaSTベンチマークで評価し、極端な空間的・時間的条件下での性能を測定。
• 挑戦的なLaST環境において良好に動作するシンプルだが効果的なベースラインモデルを設計。
• LaSTでモデルを学習・微調整し、既存の短期間および衣服変更ありベンチマークにおける一般化能力を評価。

実験結果

リサーチクエスチョン

• RQ1 都市間や複数の季節にわたる追跡といった極端な空間的・時間的変動下で、人物再識別性能はどのように低下するか？
• RQ2 LaSTで事前学習した1つのモデルは、短期間または衣服変更ありの再識別ベンチマークに効果的に一般化できるか？
• RQ3 現在のデータセットが捉えられていない、大規模な空間的・時間的視覚人物再識別における主な課題は何か？
• RQ4 空間的・時間的多様性が前例のないほど高いデータセット上で評価された場合、既存の再識別アルゴリズムの性能はどのようになるか？
• RQ5 シンプルなベースラインモデルはLaSTベンチマークでどの程度の性能を示すか？また、今後の研究の強固な基盤として機能するか？

主な発見

• LaSTデータセットは、複数の都市、時間帯、季節にわたる人物が登場する点で、既存のベンチマークを大きく上回る空間的・時間的カバレッジを有する。
• 評価された14のすべての再識別アルゴリズムが、標準ベンチマークと比較してLaSTでは顕著に性能を低下させた。これは、本データセットの高い挑戦性を示している。
• 提案されたベースラインモデルはLaSTで優れた性能を発揮し、大規模な空間的・時間的変動への対処の有効性を示している。
• LaSTで事前学習したモデルは、既存のベンチマークにおいて一般化性能が向上しており、特に衣服変更ありや短期間再識別シナリオで顕著であった。
• 結果から、LaSTは現実的再識別システムの評価と発展に適したベンチマークであることが確認された。