[論文レビュー] A Benchmark of Video-Based Clothes-Changing Person Re-Identification

Likai Wang, Xiang-Qun Zhang+5 more|arXiv (Cornell University)|Nov 21, 2022

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本稿では、衣装の変更が生じる状況下における動画ベースの人物再識別（CCVReID）に対して、外見特徴と歩行特徴を信頼度誘導重み付けで統合する二本の分岐型信頼度認識再ランク付けフレームワークを提案する。信頼度に基づく重み付けで外見と歩行特徴を統合し、合成および実世界の二つの新規ベンチマークを導入。CC設定において39.8%のmAPと54.8%のR1を達成し、単一モダリティベースラインを著しく上回る最先端の性能を示した。

ABSTRACT

Person re-identification (Re-ID) is a classical computer vision task and has achieved great progress so far. Recently, long-term Re-ID with clothes-changing has attracted increasing attention. However, existing methods mainly focus on image-based setting, where richer temporal information is overlooked. In this paper, we focus on the relatively new yet practical problem of clothes-changing video-based person re-identification (CCVReID), which is less studied. We systematically study this problem by simultaneously considering the challenge of the clothes inconsistency issue and the temporal information contained in the video sequence for the person Re-ID problem. Based on this, we develop a two-branch confidence-aware re-ranking framework for handling the CCVReID problem. The proposed framework integrates two branches that consider both the classical appearance features and cloth-free gait features through a confidence-guided re-ranking strategy. This method provides the baseline method for further studies. Also, we build two new benchmark datasets for CCVReID problem, including a large-scale synthetic video dataset and a real-world one, both containing human sequences with various clothing changes. We will release the benchmark and code in this work to the public.

研究の動機と目的

• 衣装の変更が時間経過とともに生じる状況下での動画ベースの人物再識別という未だ十分に検討されていない問題に取り組むこと。
• 時間的動画情報と衣装に依存しない歩行特徴を活用し、衣装の変化に強い再識別性能を向上させること。
• 合成および実世界の両方のシーケンスを含む、大規模かつ多様なベンチマークデータセットをCCVReIDタスク用に構築すること。
• 外見と歩行特徴を信頼度認識再ランク付けによって統合する統一フレームワークを構築し、精度を向上させること。

提案手法

• 事前学習済みのRe-IDおよび歩行認識モデルを用いて、動画シーケンスから外見特徴と歩行特徴を別々に抽出する二本の分岐型フレームワークを提案。
• 学習された信頼度スコアに基づいて、外見分岐と歩行分岐からの類似度スコアを動的に重み付ける信頼度認識再ランク付け戦略を導入。
• 信頼度監視のための擬似ラベルを設計。真のランク順序をオラクルとして用い、信頼度推定を学習。
• 外見および歩行特徴表現とそれらの信頼度スコアを同時に最適化する信頼度損失関数を採用。
• 最終的な再ランク付けのための信頼度重み付き類似度スコアを結合するために線形層を用い、エンドツーエンド学習を可能に。
• ハイパーパrameter γ で制御される候補サンプリング戦略を採用し、学習中の初期の外見および歩行ランクリストのバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 時間的動画情報と衣装に依存しない歩行特徴を効果的に統合することで、衣装の変化に伴う再識別性能をどのように向上させられるか？
• RQ2 外見と歩行特徴の信頼性がクエリごとに変動する状況下で、最適な特徴統合戦略は何か？
• RQ3 衣装の変化が生じる状況下で、信頼度認識再ランク付けは単純な統合や固定重み戦略と比べてどのように異なるか？
• RQ4 トレーニングデータの分布と多様性の選択が、CCVReIDにおけるモデルの汎化性能に与える影響は何か？

主な発見

• 提案された信頼度認識再ランク付けフレームワークは、衣装変更（CC）設定において39.8%のmAPと54.8%のR1を達成し、単一モダリティベースラインを著しく上回った。
• 学習された信頼度スコアを有するモデル（表5の最終行）が最良のパフォーマンスを示し、固定またはゼロの信頼度設定よりもエンドツーエンドの信頼度学習が有効であることを実証した。
• 最適な候補収集戦略は γ = 0.75 を用いることで、信頼性の高い外見ベースの近傍と歩行ベースの候補の両方をバランスよく統合し、あらゆる設定で最高の精度を達成した。
• いずれの分岐からも信頼度損失を削除すると性能が低下し、信頼度監視が特徴統合の強固さにとって不可欠であることを確認した。
• 類似度再重み付けに線形層を追加することで性能が向上し、直接加算するよりも学習された統合の方が効果的であることを示した。
• 合成された SCCVReID データセットには、333人のアイデンティティからなる9,620のシーケンスが含まれており、各アイデンティティが2〜37通りの衣装変化を有しており、CCVReID研究のための大規模かつ多様なベンチマークを提供している。