[論文レビュー] Clothes-Changing Person Re-identification with RGB Modality Only

Xinqian Gu, Hong Chang+4 more|arXiv (Cornell University)|Apr 14, 2022

Video Surveillance and Tracking Methods被引用数 12

ひとこと要約

本稿では、衣装の変更状況下におけるRGBオンリーの人物再識別を向上させるために、顔、ヘアスタイル、ボディーシェイプなどの衣装に依存しない特徴を学習させることを目的とした、新しい損失関数であるClothes-based Adversarial Loss (CAL)を提案する。衣装分類を多正例クラス分類問題として定式化することで、特徴の分離性が向上し、マルチモodal入力や複雑なアーキテクチャを必要とせずに、ベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

The key to address clothes-changing person re-identification (re-id) is to extract clothes-irrelevant features, e.g., face, hairstyle, body shape, and gait. Most current works mainly focus on modeling body shape from multi-modality information (e.g., silhouettes and sketches), but do not make full use of the clothes-irrelevant information in the original RGB images. In this paper, we propose a Clothes-based Adversarial Loss (CAL) to mine clothes-irrelevant features from the original RGB images by penalizing the predictive power of re-id model w.r.t. clothes. Extensive experiments demonstrate that using RGB images only, CAL outperforms all state-of-the-art methods on widely-used clothes-changing person re-id benchmarks. Besides, compared with images, videos contain richer appearance and additional temporal information, which can be used to model proper spatiotemporal patterns to assist clothes-changing re-id. Since there is no publicly available clothes-changing video re-id dataset, we contribute a new dataset named CCVID and show that there exists much room for improvement in modeling spatiotemporal information. The code and new dataset are available at: https://github.com/guxinqian/Simple-CCReID.

研究の動機と目的

• 長期間の監視において一般的に見られる衣装の変更という課題に、人物再識別を改善すること。
• 顔、ヘアスタイル、ボディーシェイプなどの衣装に依存しない属性を明示的にマイニングすることで、RGB画像からの特徴学習を向上させること。
• シルエットや3次元形状などのマルチモーダル入力、または複雑な分離モデルに依存しないこと。
• 将来的な研究を支援するため、スパatiotemporalモデリングに特化した新しい動画ベースのベンチマーク、CCVIDを開発すること。

提案手法

• 同じアイデンティティのすべての衣装バリエーションを多正例クラス分類設定における正例クラスとして扱う、Clothes-based Adversarial Loss (CAL)を提案する。
• 再識別バックボーンに接続された衣装分類ヘッドを導入し、クロスエントロピー損失を用いて衣装カテゴリを予測するように訓練する。
• 誤差逆伝播を用いて、モデルの衣装分類能力を罰する。これにより、バックボーンが衣装変化に対して不変な特徴を学習するよう促される。
• 訓練中に損失を適用することで、特徴マップが衣装パターンよりもボディーシェイプ、ヘアスタイル、顔に注目するように最適化される。
• 画像ベースのベンチマーク（LTCC、VC-Clothes、LaST、DeepChange）での検証に加え、スパティオトロピカル解析のための新しい動画データセットCCVIDを導入する。
• Ground-truth衣装アノテーションが存在しないDeepChangeでは、収集日を擬似衣装ラベルとして用いることで、アノテーションなしでも堅牢な性能を示すことを実証する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル入力に依存せずに、RGB画像のみで学習された損失関数が、衣装に依存しない特徴を効果的に抽出できるか？
• RQ2 CALにおける多正例クラス分類が、衣装の変化からアイデンティティ関連特徴をどれほど効果的に分離できるか？
• RQ3 RGBオンリーのモデルが、マルチモーダルまたは分離ベースのSOTA手法をどれほど上回れるか？
• RQ4 本手法は動画データに適用した場合にどの程度有効か？また、時間的情報は性能向上にどの程度寄与するか？
• RQ5 収集日などのメタデータを擬似ラベルとして用いる場合、本手法はGround-truth衣装アノテーションが存在しないデータセットにも一般化可能か？

主な発見

• LTCCベンチマークでは、CALはトップ1精度92.9%、mAP 87.2%を達成し、同じ衣装設定および衣装変更設定の両方でベースラインおよびすべてのSOTA手法を上回った。
• VC-Clothesでは、一般設定でトップ1精度92.9%、mAP 87.2%を達成。衣装変更（CC）設定ではトップ1精度81.4%、mAP 81.7%を記録し、3DSL や FSAM といったマルチモーダル手法を上回った。
• LaSTでは、トップ1精度73.7%、mAP 28.8%を達成。ベースライン（トップ1精度69.4%、mAP 25.6%）およびBoT や mAPLoss といったSOTA手法を上回った。
• DeepChangeでは、収集日を擬似衣装ラベルとして使用したところ、トップ1精度54.0%、mAP 19.0%を達成。ベースライン（トップ1精度50.6%、mAP 15.9%）を顕著に上回った。
• 収束解析により、CALが正例の衣装予測を約0.6–1.0、擬似正例を約1e-4–0.1、負例を約1e-5–1e-2に押し上げることに成功した。これは、期待される最適化動作が正しく実現されていることを裏付けた。
• 新たに導入されたCCVIDデータセットは、スパティオトロピカルパターンのモデリングにおける大きな改善余地を示しており、衣装変更状況における動画ベース再識別の潜在的価値を強調している。