[論文レビュー] DeepChange: A Large Long-Term Person Re-Identification Benchmark with Clothes Change

Peng Xu, Xiatian Zhu|arXiv (Cornell University)|May 31, 2021

Video Surveillance and Tracking Methods被引用数 9

ひとこと要約

本論文は、12か月にわたる自然な服の変化、17台のカメラ、1,121人の身元、178,407個のバウンディングボックスを特徴とする、初めての大規模で現実的ないくらかの長期的人物再識別ベンチマーク「DeepChange」を紹介する。マルチモーダル統合、特にRGBとグレースケール画像をVision Transformerと組み合わせた手法が、服の変化という困難な問題において、既存のモデルを著しく上回る最先端の性能を達成したことを示している。

ABSTRACT

Existing person re-identification (re-id) works mostly consider short-term application scenarios without clothes change. In real-world, however, we often dress differently across space and time. To solve this contrast, a few recent attempts have been made on long-term re-id with clothes change. Currently, one of the most significant limitations in this field is the lack of a large realistic benchmark. In this work, we contribute a large, realistic long-term person re-identification benchmark, named as DeepChange. It has several unique characteristics: (1) Realistic and rich personal appearance (e.g., clothes and hair style) and variations: Highly diverse clothes change and styles, with varying reappearing gaps in time from minutes to seasons, different weather conditions (e.g., sunny, cloudy, windy, rainy, snowy, extremely cold) and events (e.g., working, leisure, daily activities). (2) Rich camera setups: Raw videos were recorded by 17 outdoor varying resolution cameras operating in a real-world surveillance system. (3) The currently largest number of (17) cameras, (1, 121) identities, and (178, 407) bounding boxes, over the longest time span (12 months). Further, we investigate multimodal fusion strategies for tackling the clothes change challenge. Extensive experiments show that our fusion models outperform a wide variety of state-of-the-art models on DeepChange. Our dataset and documents are available at https://github.com/PengBoXiangShang/deepchange.

研究の動機と目的

• 長期にわたり自然な服の変化を含む大規模で現実的な長期的人物再識別ベンチマークが著しく不足しているという重要な課題に対処すること。
• 多様な環境的条件、身元の外見的変化、長期的な時間的スパンを備えた、実世界の監視に基づくデータセットを構築し、現実の再識別課題をよりよく反映すること。
• 制約のない服の変化下で、長期的人物再識別モデルの評価と発展を支援する包括的なベンチマークを提供すること。
• 服の変化に起因する外見的変化への耐性を高めるために、RGB、グレースケール、エッジマップなどの複数モodalの統合戦略の有効性を調査すること。
• CNNとVision Transformerの両方を用いて、新しい挑戦的なベンチマーク上で強固なベースラインと最先端の性能を確立すること。

提案手法

• DeepChangeベンチマークは、12か月間にわたり、実際の住宅環境に設置された17台の屋外監視カメラ（解像度はばらばら）の生動画を用いて構築された。
• 全カメラおよび時間的スパンにわたる人物の身元は手動でアノテートされ、服、髪型、天候、行動の変化を含む顕著な外見的変化を伴う1,121人の異なる身元、178,407個のバウンディングボックスが得られた。
• データセットは、季節による服の変化、天候の変化（晴れ、雨、雪、風、寒さ）および多様な日常的活動を含む、現実的で自然な外見の変化を捉えている。
• RGB、グレースケール、エッジマップ入力のラテント統合戦略が評価され、服の変化への耐性向上に寄与した。
• 標準的なCNN（ResNet、DenseNet）、最先端の再識別モデル（BNNeck、ReIDCaps）、Vision Transformer（ViT、DeiT）の多様なモデルが評価され、モダリティの組み合わせに関するアブレーションも実施された。
• 標準的な指標であるrank@1と平均平均精度（mAP）を用いて性能を測定し、特に服の変化に起因するrank@1とmAPの差の大きさに注目した。

実験結果

リサーチクエスチョン

• RQ1 最先端の人物再識別モデルは、自然な服の変化を含む大規模で長期的なベンチマークにおいて、短期的なベンチマークと比較して、どの程度性能が低下するか？
• RQ2 マルチモーダル統合（例：RGB、グレースケール、エッジマップ）は、長期的再識別における制約のない服の変化に対して、どの程度モデルの耐性を高められるか？
• RQ3 CNNとVision Transformerのどちらの深層学習アーキテクチャが、長期的かつ外見が変化する条件下でより優れた性能を示すか？
• RQ4 長期的再識別において、rank@1とmAPスコアはどのように比較されるか？ その顕著な差の背後にはどのような要因があるか？
• RQ5 複数の外見モダリティを併用することで、多様なモデルアーキテクチャや再識別設定において一貫した性能向上が達成できるか？

主な発見

• Vision Transformer（ViT）は、すべてのユニモーダル手法の中でDeepChangeで最高のmAPスコアを達成し、長期的な外見的変化をモデル化する能力の優位性を示した。
• RGBとグレースケール画像のマルチモーダルラテント統合は、単一モダリティ入力よりも性能を向上させ、特にこの統合入力でViTを用いた際に最高のmAPが達成された。
• mAPスコアはrank@1に比べて顕著に低く（例：ResNet152ではrank@1：約39.84％、mAP：約11.49％）、服の変化が引き起こす深刻な課題を示している。
• より深いネットワーク（例：ResNet152）は、浅いネットワーク（例：ResNet18）を上回り、再識別に特化したモデル（BNNeck、ReIDCaps）も、特に深いアーキテクチャと組み合わせると優れた性能を示した。
• グレースケール画像は、情報量が少なくImageNetでの事前学習があるため、RGBより効果が低かったが、RGBと統合することで依然として肯定的な寄与を示した。
• 提案されたマルチモーダル統合戦略は、標準的なCNNおよび最先端の再識別モデルの両方で性能を著しく向上させ、強い相補効果を示した。